Estatísticas e Big Data

Sinto que já vi esse tópico discutido aqui antes, mas não consegui encontrar nada específico. Por outro lado, também não tenho muita certeza do que procurar. Eu tenho um conjunto unidimensional de dados ordenados. Eu suponho que todos os pontos do conjunto sejam retirados da mesma distribuição. Como posso testar …

16 hypothesis-testing  distributions  mixture 

Preciso de um pouco de ajuda para recuperar os dados de um questionário. Um dos meus colegas aplicou um questionário, mas, inadvertidamente, em vez de usar a escala Likert original de 5 pontos (discordo totalmente de concordar totalmente), ele inseriu uma sexta resposta na escala. E, para piorar a situação, …

16 likert  data-imputation 

Estou tentando entender o contexto do famoso livro de Minsky e Papert "Perceptrons", de 1969, tão crítico para as redes neurais. Até onde eu sei, ainda não havia outros algoritmos genéricos de aprendizado supervisionado, exceto o perceptron: as árvores de decisão começaram a se tornar realmente úteis apenas no final …

16 classification  neural-networks  history 

O pacote de interpolação é uma biblioteca R brilhante para a construção de vários modelos de aprendizado de máquina e possui várias funções para construção e avaliação de modelos. Para ajuste de parâmetros e treinamento do modelo, o pacote de interpolação de mão oferece 'repeatcv' como um dos métodos. Como …

16 cross-validation  caret 

Me deparei com este artigo de 2012 de Gitte Vanwinckelen e Hendrik Blockeel questionando a utilidade da validação cruzada repetida, que se tornou uma técnica popular para reduzir a variação da validação cruzada. Os autores demonstraram que, embora a validação cruzada repetida diminua a variação das previsões do modelo, uma …

16 cross-validation 

Eu tenho uma pergunta simples - e possivelmente obviamente trivial -: por que o desvio padrão é chamado exatamente isso de " padrão "? É porque padroniza a comparação de conjuntos de dados e resultados em relação à sua dispersão? Uma pesquisa no Stack Exchange não levanta essa questão, nem …

16 standard-deviation  terminology  history  etymology 

Ao explicar a regressão do LASSO, o diagrama de um diamante e um círculo é frequentemente usado. Diz-se que, como o formato da restrição no LASSO é um diamante, a solução de mínimos quadrados obtida pode tocar o canto do diamante, levando a um encolhimento de alguma variável. No entanto, …

16 regression  lasso  ridge-regression 

Depois de ler esta pergunta sobre o arXiv e encontrar um link para o GitXiv do qual eu desconhecia, perguntei-me quais sites / recursos as pessoas usam para manter-se atualizado sobre as pesquisas mais recentes em sua área?

16 academia 

Eu sei que os Pearson Residuals padronizados são obtidos de uma maneira probabilística tradicional: ri=yi−πiπi(1−πi)−−−−−−−−√ri=yi−πiπi(1−πi) r_i = \frac{y_i-\pi_i}{\sqrt{\pi_i(1-\pi_i)}} Residuais de Deviance e Deviance são obtidos de uma maneira mais estatística (a contribuição de cada ponto para a probabilidade): di=si−2[yilogπi^+(1−yi)log(1−πi)]−−−−−−−−−−−−−−−−−−−−−−−−−−√di=si−2[yilog⁡πi^+(1−yi)log⁡(1−πi)] d_i = s_i \sqrt{-2[y_i \log \hat{\pi_i} + (1 - y_i)\log(1-\pi_i)]} onde …

16 regression  logistic  generalized-linear-model  residuals  deviance 

Estou usando regressão linear múltipla para descrever as relações entre Y e X1, X2. Pela teoria, entendi que a regressão múltipla assume relações lineares entre Y e cada um de X (Y e X1, Y e X2). Não estou usando nenhuma transformação do X. Então, eu peguei o modelo com …

16 regression  multiple-regression  python  linear 

Estou tentando entender a diferença entre seleção e endogeneidade de amostras e, por sua vez, como os modelos de Heckman (para lidar com a seleção de amostras) diferem das regressões instrumentais de variáveis ​​(para lidar com a endogeneidade). É correto dizer que a seleção da amostra é uma forma específica …

16 instrumental-variables  endogeneity  2sls  heckman 

Tenho dados de séries temporais mensais e gostaria de fazer previsões com detecção de outliers. Esta é a amostra do meu conjunto de dados: Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec 2006 7.55 7.63 7.62 7.50 7.47 7.53 7.55 7.47 7.65 7.72 7.78 7.81 2007 …

16 r  time-series  forecasting  arima  outliers 

Então, eu tenho lido muito sobre como interpretar corretamente um valor P e, pelo que li, o valor p diz NADA sobre a probabilidade de a hipótese nula ser verdadeira ou falsa. No entanto, ao ler a seguinte declaração: O valor p representa a probabilidade de cometer um erro do …

16 hypothesis-testing  p-value 

Estou seguindo um tutorial aqui: http://www.r-bloggers.com/computing-and-visualizing-pca-in-r/ para obter uma melhor compreensão do PCA. O tutorial usa o conjunto de dados Iris e aplica uma transformação de log antes do PCA: Observe que no código a seguir aplicamos uma transformação log para as variáveis contínuas, como sugerido por [1] e conjunto …

16 r  pca  data-transformation  logarithm 

Essa afirmação foi levantada na resposta principal a essa pergunta . Eu acho que a pergunta 'por que' é suficientemente diferente para justificar uma nova discussão. A pesquisa "exaustiva medida de associação" no Google não produziu nenhum resultado, e não sei ao certo o que essa frase significa.

16 correlation  normal-distribution  pearson-r  multivariate-normal