Estatísticas e Big Data

Já ouvi o termo estimador consistente "root-n" ser usado muitas vezes. Dos recursos pelos quais fui instruído, pensei que um estimador consistente "raiz-n" significava que: o estimador converge para o valor verdadeiro (daí a palavra "consistente") o estimador converge a uma taxa de1 / n--√1/n1/\sqrt{n} Isso me intriga, pois não …

10 convergence  estimators  consistency 

Eu tenho um problema de classificação em que os pixels serão rotulados com rótulos flexíveis (que denotam probabilidades) em vez de rótulos rígidos 0,1. No início, com 0,1 pixel rígido rotulando a função de perda de entropia cruzada (sigmoidCross entropyLossLayer da Caffe) estava obtendo resultados decentes. Tudo bem usar a …

10 classification  loss-functions 

Existe muita literatura sobre os diagnósticos de convergência Monte Carlo (MCMC) da cadeia de Markov, incluindo o diagnóstico Gelman-Rubin mais popular. No entanto, todos eles avaliam a convergência da cadeia de Markov e, portanto, abordam a questão da queima. Depois de descobrir o burn-in, como devo decidir quantas amostras do …

10 sample-size  mcmc  monte-carlo  markov-process 

No momento, estou com alguns problemas ao analisar um conjunto de dados de tweet com máquinas de vetores de suporte. O problema é que tenho um conjunto de treinamento de classe binária desequilibrado (5: 2); que deve ser proporcional à distribuição de classe real. Ao prever, obtenho uma baixa precisão …

10 machine-learning  classification  svm  unbalanced-classes  precision-recall 

Pelo que tenho lido, entre outros no site do grupo de consultoria de estatística da UCLA, os testes de razão de verossimilhança e testes de wald são bastante semelhantes ao testar se dois modelos de glm mostram uma diferença significativa na adequação de um conjunto de dados (desculpe-me se minha …

10 r  regression  likelihood-ratio 

Parece que estou entendendo mal uma afirmação sobre métodos de regressão linear que já vi em vários lugares. Os parâmetros do problema são: Entrada: NNN amostras de dados de quantidades cada um consistindo de uma "resposta" quantidade e "predictor" quantidadesy i p x i jp+1p+1p+1yiyiy_ipppxijxijx_{ij} O resultado desejado é um …

10 regression  ridge-regression 

Estou testando a cointegração usando o teste de Johansen. Vi perguntas como interpretar os resultados dos testes, mas quando estou interpretando os meus, tenho algumas dúvidas. Nos meus resultados r = 3desde 4.10 < 10.49então, não posso formar uma série estacionária. É o mesmo para r = 2 e r …

10 r  hypothesis-testing  cointegration 

Para trabalhos de casa, recebi dados para criar / treinar um preditor que usa regressão do laço. Crio o preditor e o treino usando a biblioteca lasso python do scikit learn. Então agora eu tenho esse preditor que, quando recebida, pode prever a saída. A segunda pergunta foi "Estenda seu …

10 regression  machine-learning  self-study  confidence-interval  bootstrap 

Eu alcancei até dlnLdμ=∑i=1n2(xi−u)1+(xi−u)2dln⁡Ldμ=∑i=1n2(xi−u)1+(xi−u)2\frac{d\ln L}{d\mu}=\sum_{i=1}^n \frac{2(x_i-u)}{1+(x_i-u)^2} Onde é o parâmetro de localização. E é uma função de probabilidade. Eu não estou entendendo como proceder. Por favor ajude.LuuuLLL

10 self-study  maximum-likelihood  cauchy 

Seja e B eventos independentes, e A e C sejam eventos independentes. Como mostro que A e B ∪ C também são eventos independentes?UMAAABBBUMAAACCCUMAAAB ∪ CB∪CB\cup C De acordo com a definição de eventos independentes, e B ∪ C são independentes se e somente se P ( A ∩ ( …

10 probability  self-study  independence 

Existem poucas explicações que descrevem como interpretar os coeficientes de regressão linear após diferenciar uma série temporal (para eliminar uma raiz unitária). É tão simples que não há necessidade de declarar formalmente? (Estou ciente dessa pergunta , mas não tinha certeza de quão geral foi sua resposta). Digamos que estamos …

10 time-series  multiple-regression  econometrics  linear-model  inference 

Li em algum lugar que a razão pela qual calculamos as diferenças em vez de assumir valores absolutos ao calcular a variação é que a variação definida da maneira usual, com quadrados no nomeador, desempenha um papel único no Teorema do Limite Central. Bem, então qual é exatamente o papel …

10 variance  central-limit-theorem  dispersion 

Estou executando uma análise sobre a probabilidade de inadimplência de empréstimos usando regressão logística e florestas aleatórias. Quando uso regressão logística, a previsão é sempre '1' (o que significa bom empréstimo). Eu nunca vi isso antes e não sei por onde começar em termos de tentar resolver o problema. Existem …

10 regression  logistic  predictive-models  unbalanced-classes  scoring-rules 

Matematicamente, muitas vezes é visto que expressões e algoritmos para Expectation Maximization (EM) geralmente são mais simples para modelos mistos, mas parece que quase tudo (se não tudo) que pode ser resolvido com EM também pode ser resolvido com MLE (por, digamos, o método Newton-Raphson, para expressões que não estão …

10 mixed-model  maximum-likelihood  expectation-maximization 

A Wikipedia fornece as seguintes definições: Censura correta : um ponto de dados está acima de um determinado valor, mas não se sabe quanto. Censura à esquerda : um ponto de dados está abaixo de um determinado valor, mas não se sabe quanto. Nestas definições, o que se entende por: …

10 self-study  censoring