Estatísticas e Big Data

Existem livros didáticos estatísticos gratuitos disponíveis?

119 teaching  references 

A correlação não implica causalidade, pois pode haver muitas explicações para a correlação. Mas a causalidade implica correlação? Intuitivamente, eu pensaria que a presença de causação significa que há necessariamente alguma correlação. Mas minha intuição nem sempre me serviu bem em estatística. A causalidade implica correlação?

118 correlation  causality 

No trabalho, estávamos discutindo isso, pois meu chefe nunca ouviu falar em normalização. Em Álgebra Linear, Normalização parece se referir à divisão de um vetor por seu comprimento. E, em estatística, a padronização parece se referir à subtração de uma média e depois dividida por seu DP. Mas eles parecem …

118 descriptive-statistics  normalization  standardization 

Estou executando modelos de regressão linear e me perguntando quais são as condições para remover o termo de interceptação. Ao comparar os resultados de duas regressões diferentes, em que uma tem a interceptação e a outra não, percebo que o da função sem a interceptação é muito maior. Existem certas …

118 regression  linear-model  r-squared  intercept 

Estou tentando entender bem o algoritmo EM, para poder implementá-lo e usá-lo. Passei um dia inteiro lendo a teoria e um artigo em que o EM é usado para rastrear uma aeronave usando as informações de posição provenientes de um radar. Honestamente, acho que não entendo completamente a idéia subjacente. …

117 regression  probability  mathematical-statistics  intuition  expectation-maximization 

Qual é a diferença entre probabilidade e estatística e por que eles são estudados juntos?

116 probability  teaching  mathematical-statistics 

Recentemente, encontrei em um artigo de Klammer et al. uma declaração de que os valores-p devem ser distribuídos uniformemente. Acredito nos autores, mas não consigo entender por que é assim. Klammer, AA, Park, CY, e Stafford Noble, W. (2009) Calibração de Estatística da Função SEQUEST XCorr . Journal of Proteome …

115 p-value  uniform 

Isso surgiu inicialmente em conexão com algum trabalho que estamos fazendo para um modelo para classificar texto natural, mas eu o simplifiquei ... Talvez demais. Você tem um carro azul (por alguma medida científica objetiva - é azul). Você mostra para 1000 pessoas. 900 dizem que é azul. 100 não. …

114 probability 

Para meu próprio entendimento, estou interessado em replicar manualmente o cálculo dos erros padrão dos coeficientes estimados, pois, por exemplo, vêm com a saída da lm()função R, mas não consegui defini-la. Qual é a fórmula / implementação usada?

114 r  regression  standard-error  lm 

Não vi a pergunta declarada precisamente nesses termos, e é por isso que faço uma nova pergunta. O que estou interessado em conhecer não é a definição de uma rede neural, mas entender a diferença real com uma rede neural profunda. Para mais contexto: eu sei o que é uma …

114 neural-networks  deep-learning 

Temos um vetor normal multivariado . Considere particionar e {\ boldsymbol Y} em \ boldsymbol \ mu = \ begin {bmatrix} \ boldsymbol \ mu_1 \\ \ boldsymbol \ mu_2 \ end {bmatrix} {\ boldsymbol Y} = \ begin {bmatrix} { \ boldsymbol y} _1 \\ {\ boldsymbol y} _2 …

114 normal-distribution  conditional-probability 

Recebo essa pergunta com bastante frequência no meu trabalho de consultoria estatística, que pensei em publicá-la aqui. Eu tenho uma resposta, que é postada abaixo, mas eu queria ouvir o que os outros têm a dizer. Pergunta: Se você tem duas variáveis ​​que normalmente não são distribuídas, você deve usar …

113 correlation  normality-assumption  pearson-r  spearman-rho 

Este quadrinho do xkcd (Frequentists vs. Bayesians) zomba de um estatístico freqüentista que obtém um resultado obviamente errado. No entanto, parece-me que seu raciocínio está realmente correto no sentido em que segue a metodologia freqüentista padrão. Então, minha pergunta é "ele aplica corretamente a metodologia freqüentista?" Se não: qual seria …

113 bayesian  frequentist 

A análise de componentes principais (PCA) pode ser usada para redução de dimensionalidade. Após a redução dessa dimensionalidade, como se pode reconstruir aproximadamente as variáveis ​​/ características originais de um pequeno número de componentes principais? Como alternativa, como remover ou descartar vários componentes principais dos dados? Em outras palavras, como …

113 pca  dimensionality-reduction  svd 

Como os acho fascinantes, gostaria de ouvir o que as pessoas desta comunidade consideram o paradoxo estatístico mais interessante e por quê.

112 paradox