Estatísticas e Big Data

Eu tenho duas séries temporais (ambas suaves) que gostaria de correlacionar para ver como elas estão correlacionadas. Pretendo usar o coeficiente de correlação de Pearson. Isso é apropriado? Minha segunda pergunta é que posso optar por experimentar as duas séries temporais da maneira que eu quiser. ou seja, eu posso …

47 time-series  correlation  pearson-r  smoothing 

Como interpretar o desvio nulo e residual no GLM em R? Como, dizemos que AIC menor é melhor. Existe alguma interpretação semelhante e rápida para os desvios também? Desvio nulo: 1146,1 em 1077 graus de liberdade Desvio residual: 4589,4 em 1099 graus de liberdade AIC: 11089

47 generalized-linear-model  deviance 

De StatSoft, Inc. (2013), Electronic Statistics Textbook , "Naive Bayes Classifier" : Para demonstrar o conceito de Classificação Naïve Bayes, considere o exemplo exibido na ilustração acima. Conforme indicado, os objetos podem ser classificados como VERDE ou VERMELHO. Minha tarefa é classificar novos casos à medida que eles chegam, ou …

47 machine-learning  naive-bayes 

Imagine que você precise reportar o número de candidatos que fazem anualmente um determinado teste. Parece bastante difícil inferir a porcentagem de sucesso observada, por exemplo, em uma população mais ampla devido à especificidade da população-alvo. Portanto, você pode considerar que esses dados representam toda a população. Os resultados dos …

47 hypothesis-testing  population  sampling 

Tenho certeza de que tenho isso completamente enrolado na minha cabeça, mas simplesmente não consigo entender. O teste t compara duas distribuições normais usando a distribuição Z. É por isso que existe uma suposição de normalidade nos DADOS. ANOVA é equivalente à regressão linear com variáveis ​​dummy e usa somas …

47 distributions  regression  normality-assumption  t-test  anova 

Esta pergunta me intrigou por um longo tempo. Entendo o uso de 'log' para maximizar a probabilidade, por isso não estou perguntando sobre 'log'. Minha pergunta é: como maximizar a probabilidade do log é equivalente a minimizar a "probabilidade do log negativo" (NLL), por que inventamos esse NLL? Por que …

47 maximum-likelihood  likelihood 

Nos últimos anos, as Redes Neurais Convolucionais (CNNs) tornaram-se o estado da arte em reconhecimento de objetos em visão computacional. Normalmente, uma CNN consiste em várias camadas convolucionais, seguidas por duas camadas totalmente conectadas. Uma intuição por trás disso é que as camadas convolucionais aprendem uma melhor representação dos dados …

46 machine-learning  neural-networks  svm  deep-learning  conv-neural-network 

Eu estava lendo este artigo sobre o fator Bayes para um problema completamente não relacionado quando me deparei com essa passagem O teste de hipóteses com fatores de Bayes é mais robusto do que o teste freqüente de hipóteses, uma vez que a forma bayesiana evita o viés de seleção …

46 hypothesis-testing  frequentist 

No artigo "Discussão: os ecologistas devem se tornar bayesianos?" Brian Dennis fornece uma visão surpreendentemente equilibrada e positiva das estatísticas bayesianas quando seu objetivo parece ser alertar as pessoas sobre isso. No entanto, em um parágrafo, sem citações ou justificativas, ele diz: Os bayesianos, como você vê, não podem olhar …

46 bayesian  residuals  frequentist  likelihood-principle 

Eu já vi "resíduos" definidos de várias maneiras como sendo "valores preditos menos reais" ou "valores reais menos preditos". Para fins de ilustração, para mostrar que as duas fórmulas são amplamente usadas, compare as seguintes pesquisas na Web: residual "previsto menos real" residual "menos real previsto" Na prática, quase nunca …

46 residuals  terminology  error 

Estou curioso sobre a natureza de Σ−1Σ−1\Sigma^{-1} . Alguém pode dizer algo intuitivo sobre "O que Σ−1Σ−1\Sigma^{-1} diz sobre dados?" Editar: Obrigado pelas respostas Depois de fazer alguns ótimos cursos, gostaria de acrescentar alguns pontos: É uma medida de informação, ou seja, xTΣ−1xxTΣ−1xx^T\Sigma^{-1}x é a quantidade de informação ao longo …

46 bayesian  maximum-likelihood  covariance  matrix 

Concluí minha análise de dados e obtive "resultados estatisticamente significativos", o que é consistente com minha hipótese. No entanto, um estudante de estatística me disse que esta é uma conclusão prematura. Por quê? É necessário incluir mais alguma coisa no meu relatório?

46 hypothesis-testing  statistical-significance  spss  p-value 

Alguém pode explicar por que precisamos de um grande número de árvores em florestas aleatórias quando o número de preditores é grande? Como podemos determinar o número ideal de árvores?

46 machine-learning  random-forest 

Em deste artigo intitulado "escolhendo entre lineares generalizados modelos aplicados a médico de dados", escrevem os autores: Em um modelo linear generalizado, a média é transformada pela função de link, em vez de transformar a própria resposta. Os dois métodos de transformação podem levar a resultados bastante diferentes; por exemplo, …

46 generalized-linear-model  model-selection  lognormal 

O que é um gráfico apropriado para ilustrar a relação entre duas variáveis ​​ordinais? Algumas opções que posso pensar: Gráfico de dispersão com tremulação aleatória adicionada para impedir que os pontos se ocultem. Aparentemente, um gráfico padrão - o Minitab chama isso de "gráfico de valores individuais". Na minha opinião, …

46 data-visualization  categorical-data  ordinal-data  scatterplot