Estatísticas e Big Data

Um ex-colega uma vez me argumentou da seguinte maneira: Geralmente aplicamos testes de normalidade aos resultados de processos que, sob o nulo, geram variáveis ​​aleatórias que são apenas assintoticamente ou quase normais (com a parte 'assintoticamente' dependente de alguma quantidade que não podemos aumentar); Na era da memória barata, big …

298 hypothesis-testing  normality-assumption  philosophical 

Em alguma literatura, li que uma regressão com múltiplas variáveis ​​explicativas, se em unidades diferentes, precisava ser padronizada. (A padronização consiste em subtrair a média e dividir pelo desvio padrão.) Em quais outros casos eu preciso padronizar meus dados? Existem casos em que eu deveria centralizar apenas meus dados (ou …

281 multiple-regression  standardization  centering 

Em termos simples, como você explicaria (talvez com exemplos simples) a diferença entre modelos de efeito fixo, efeito aleatório e efeito misto?

268 mixed-model  random-effects-model  definition  fixed-effects-model 

Estou perdido na normalização, alguém poderia me guiar por favor. Eu tenho um valor mínimo e máximo, digamos -23.89 e 7.54990767, respectivamente. Se eu receber um valor de 5,6878, como posso escalar esse valor em uma escala de 0 a 1.

266 normalization 

Da Wikipedia , existem três interpretações dos graus de liberdade de uma estatística: Nas estatísticas, o número de graus de liberdade é o número de valores no cálculo final de uma estatística que pode variar livremente . As estimativas de parâmetros estatísticos podem ser baseadas em diferentes quantidades de informações …

257 interpretation  degrees-of-freedom  intuition 

Qual é a sua cotação estatística favorita? Este é um wiki da comunidade, portanto, faça uma citação por resposta.

248 references  history 

Depois de fazer um curso de estatística e depois tentar ajudar os colegas, notei que um assunto que inspira muita batida na mesa é a interpretação dos resultados dos testes estatísticos de hipóteses. Parece que os alunos aprendem facilmente como executar os cálculos exigidos por um determinado teste, mas ficam …

246 hypothesis-testing  p-value  interpretation  intuition  canonical-question 

Quais são as semelhanças e diferenças entre estes três métodos: Bagagem, Boosting, Empilhamento? Qual é o melhor? E porque? Você pode me dar um exemplo para cada um?

245 machine-learning  boosting  ensemble  bagging  model-averaging 

Li que "a distância euclidiana não é uma boa distância em grandes dimensões". Acho que essa afirmação tem algo a ver com a maldição da dimensionalidade, mas o que exatamente? Além disso, o que são 'altas dimensões'? Tenho aplicado clustering hierárquico usando distância euclidiana com 100 recursos. Até quantos recursos …

240 machine-learning  clustering  distance-functions  metric  high-dimensional 

Talvez o conceito, por que é usado, e um exemplo.

240 bayesian  mcmc  intuition  teaching 

As páginas de ajuda em R pressupõem que eu sei o que esses números significam, mas não sei. Estou tentando entender intuitivamente todos os números aqui. Vou postar a saída e comentar o que descobri. Pode haver (haverá) erros, pois vou escrever o que presumo. Gostaria principalmente de saber o …

234 r  regression  interpretation 

Eu estava folheando algumas anotações de aula de Cosma Shalizi (em particular, seção 2.1.1 da segunda aula ), e me lembrei de que você pode obter muito baixo, mesmo quando você tem um modelo completamente linear.R2R2R^2 Parafraseando o exemplo de Shalizi: suponha que você tenha um modelo , em que …

233 regression  r-squared 

A troca de Joris e Srikant aqui me fez pensar (novamente) se minhas explicações internas para a diferença entre intervalos de confiança e intervalos credíveis eram as corretas. Como você explicaria a diferença?

229 bayesian  confidence-interval  frequentist  credible-interval  fiducial 

Pesquisou alta e baixa e não conseguiu descobrir o que a AUC, como relacionada à previsão, significa ou significa.

228 classification  prediction  roc  auc  abbreviation 

Parece que, através de várias questões relacionadas aqui, há consenso de que a parte "95%" do que chamamos de "intervalo de confiança de 95%" refere-se ao fato de que se replicarmos exatamente nossos procedimentos de amostragem e computação de IC muitas vezes , 95% dos ICs assim calculados conteriam a …

228 probability  confidence-interval  sampling  mean  population