Estatísticas e Big Data

Há muito tempo, aprendi que a distribuição normal era necessária para o teste T de duas amostras. Hoje, uma colega me disse que aprendeu que para N> 50 a distribuição normal não era necessária. Isso é verdade? Se verdadeiro, é por causa do teorema do limite central?

77 normal-distribution  t-test  central-limit-theorem 

Se você pudesse voltar no tempo e pedir a si mesmo para ler um livro específico no início de sua carreira como estatístico, que livro seria?

77 references 

A matemática tem seus famosos problemas do milênio (e, historicamente, os 23 de Hilbert ), questões que ajudaram a moldar a direção do campo. Tenho pouca ideia, no entanto, quais seriam as hipóteses de Riemann e P vs. NP de estatística. Então, quais são as questões abertas abrangentes nas estatísticas? …

77 history 

Eu sei que as pessoas gostam de fechar duplicatas por isso estou não pedir uma referência para iniciar as estatísticas de aprendizagem (como aqui ). Tenho doutorado em matemática, mas nunca aprendi estatística. Qual é o caminho mais curto para o conhecimento equivalente a um nível superior de estatística em …

77 references  careers 

Como você descreveria a validação cruzada para alguém sem experiência em análise de dados?

77 cross-validation 

Eu tenho um conjunto de dados com cerca de 30 variáveis ​​independentes e gostaria de construir um modelo linear generalizado (GLM) para explorar o relacionamento entre elas e a variável dependente. Estou ciente de que o método que me foi ensinado para essa situação, a regressão gradual, agora é considerado …

76 regression  generalized-linear-model  model-selection  stepwise-regression 

"Essencialmente, todos os modelos estão errados, mas alguns são úteis." --- Box, George EP; Norman R. Draper (1987). Superfícies empíricas de construção de modelos e resposta, p. 424, Wiley. ISBN 0471810339. Qual é exatamente o significado da frase acima?

76 modeling 

Recentemente, tenho lido muito neste site (@Aniko, @Dikran Marsupial, @Erik) e em outros lugares sobre o problema de sobreajuste que ocorre com a validação cruzada - (Smialowski et al. 2010 Bioinformatics, Hastie, Elements of statistics learning). A sugestão é que qualquer seleção de recurso supervisionado (usando correlação com rótulos de …

76 cross-validation  feature-selection 

Entendo o básico do objetivo de um Support Vector Machines em termos de classificação de um conjunto de entradas em várias classes diferentes, mas o que não entendo são alguns detalhes minuciosos. Para começar, estou um pouco confuso com o uso de Slack Variables. Qual é o seu propósito? Estou …

76 machine-learning  classification  svm 

Estou ficando um pouco confuso sobre a seleção de recursos e o aprendizado de máquina e fiquei imaginando se você poderia me ajudar. Eu tenho um conjunto de dados de microarray que é classificado em dois grupos e possui milhares de recursos. Meu objetivo é obter um pequeno número de …

76 machine-learning  classification  cross-validation  feature-selection  genetics 

Eu tenho lido Elements of Statistical Learning e gostaria de saber por que o Lasso fornece seleção de variáveis ​​e regressão de crista não. Ambos os métodos minimizam a soma residual dos quadrados e têm uma restrição nos possíveis valores dos parâmetros . Para o Lasso, a restrição é , …

76 regression  feature-selection  lasso  regularization 

Como a Regressão Logística é um modelo de classificação estatística que lida com variáveis ​​dependentes categóricas, por que não é chamado de Classificação Logística ? O nome "Regressão" não deve ser reservado aos modelos que lidam com variáveis ​​dependentes contínuas?

75 regression  machine-learning  logistic  classification  terminology 

Estou usando o algoritmo de floresta aleatória como um classificador robusto de dois grupos em um estudo de microarray com milhares de recursos. Qual é a melhor maneira de apresentar a floresta aleatória para que haja informações suficientes para torná-la reproduzível em um artigo? Existe um método de plotagem em …

75 r  machine-learning  classification  random-forest  microarray 

Alguns anos atrás, projetei um detector de radiação que funciona medindo o intervalo entre os eventos, em vez de contá-los. Minha suposição era que, ao medir amostras não contíguas, em média eu media metade do intervalo real. No entanto, quando testei o circuito com uma fonte calibrada, a leitura era …

75 poisson-process  paradox 

Para regressão linear, podemos verificar os gráficos de diagnóstico (gráficos de resíduos, gráficos de QQ normal, etc.) para verificar se as suposições de regressão linear são violadas. Para regressão logística, estou tendo problemas para encontrar recursos que expliquem como diagnosticar o ajuste do modelo de regressão logística. Desenterrar algumas notas …

74 regression  logistic