Estatísticas e Big Data

Pergunta bastante básica: O que significa uma distribuição normal de resíduos de uma regressão linear? Em termos de, como isso se reflete nos meus dados originais da regressão? Estou totalmente perplexo, obrigado pessoal

13 regression  residuals 

Imagine que existem 80 jogadores de queimada no mundo. Cada um deles jogou milhares de jogos de queimada com os outros 79 jogadores em ordem aleatória mais ou menos. Este é um mundo sem equipes (por exemplo, todo jogador tem uma chance de ser escolhido em qualquer equipe a cada …

13 probability  games  paired-comparisons  odds 

Aqui está o meu contexto para esta pergunta: Pelo que sei, não podemos executar uma regressão ordinária de mínimos quadrados em R ao usar dados ponderados e o surveypacote. Aqui, temos que usar svyglm(), que em vez disso executa um modelo linear generalizado (que pode ser a mesma coisa? Estou …

13 r  generalized-linear-model  least-squares  r-squared  deviance 

É "aceitável" adicionar uma linha vertical a um histograma para visualizar o valor médio? Parece bom para mim, mas nunca vi isso em livros didáticos e coisas do gênero, então estou me perguntando se há algum tipo de convenção para não fazer isso? O gráfico é para um trabalho final, …

13 self-study  data-visualization  mean  histogram 

De acordo com o artigo da Wikipedia sobre distribuição Gamma : Se X∼Gamma(a,θ)X∼Gamma(a,θ)X\sim\mathrm{Gamma}(a,\theta) e Y∼Gamma(b,θ)Y∼Gamma(b,θ)Y\sim\mathrm{Gamma}(b,\theta) , onde XXX e YYY são variáveis ​​aleatórias independentes, então X+Y∼Gamma(a+b,θ)X+Y∼Gamma(a+b,θ)X+Y\sim \mathrm{Gamma}(a+b, \theta) . Mas não vejo nenhuma prova. Alguém pode me indicar sua prova, por favor? Edit: Muito obrigado ao Zen, e também encontrei …

13 probability  pdf  gamma-distribution 

Sou muito novo nessa área e estou tendo dificuldades para entender o conceito de rejeitar a hipótese nula com base nos resultados da tabela ANOVA. Como o F calculado e o valor crítico se relacionam com o valor p? E se o F calculado for maior que 1, isso sempre …

13 anova 

Ao obter amostras do MCMC para inferir um parâmetro específico, quais são os bons guias para o número mínimo de amostras efetivas que se deve buscar? E esse conselho muda à medida que o modelo se torna mais ou menos complexo?

13 bayesian  sample-size  mcmc  posterior 

Para fazer um prefácio, tenho um fundo matemático bastante profundo, mas nunca lidei com séries temporais ou modelagem estatística. Então você não precisa ser muito gentil comigo :) Estou lendo este artigo sobre modelagem do uso de energia em edifícios comerciais, e o autor faz esta afirmação: [A presença de …

13 time-series  autocorrelation 

Digamos que tenho um problema de seleção de modelos e estou tentando usar o AIC ou o BIC para avaliar os modelos. Isso é direto para modelos que possuem algum número kkk de parâmetros com valor real. No entanto, e se um de nossos modelos (por exemplo, o modelo de …

13 modeling  maximum-likelihood  aic  fitting  bic 

Minhas previsões provenientes de um modelo de regressão logística (glm em R) não são delimitadas entre 0 e 1 como eu esperava. Meu entendimento da regressão logística é que seus parâmetros de entrada e modelo são combinados linearmente e a resposta é transformada em probabilidade usando a função de link …

13 r  regression  logistic  generalized-linear-model 

Se eu construir uma matriz 2D composta inteiramente de dados aleatórios, esperaria que os componentes PCA e SVD não explicassem nada. Em vez disso, parece que a primeira coluna SVD parece explicar 75% dos dados. Como isso pode ser possível? O que estou fazendo de errado? Aqui está o enredo: …

13 r  pca  svd 

Nunca participei de um curso oficial ou estruturado de análise de dados ou aprendizado de máquina (além das ofertas on-line recentes) e aprendi a maior parte do que sei lendo e testando as coisas. Sei que estou longe de conseguir um emprego. Minha pergunta não é o que é melhor …

13 machine-learning  data-mining  careers 

Estou procurando conselhos e comentários que tratem da análise de proporções e taxas. No campo em que trabalho, a análise de proporções em particular é generalizada, mas li alguns artigos que sugerem que isso pode ser problemático, estou pensando em: Kronmal, Richard A. 1993. Correlação espúria e a falácia do …

13 modeling  multiple-regression  generalized-linear-model  interaction  confounding 

Faz sentido fazer o PCA antes de executar uma Classificação Florestal Aleatória? Estou lidando com dados de texto de alta dimensão e quero reduzir os recursos para evitar a maldição da dimensionalidade, mas as florestas aleatórias já não têm algum tipo de redução de dimensão?

13 classification  pca  random-forest  dimensionality-reduction  high-dimensional 

Pelo visto, a análise de Fisher visa maximizar simultaneamente a separação entre classes, enquanto minimiza a dispersão dentro da classe. Uma medida útil do poder de discriminação de uma variável é, por conseguinte, dada pela quantidade diagonal: Bii/WiiBii/WiiB_{ii}/W_{ii} . http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html Eu entendo que o tamanho ( p x p) das …

13 algorithms  dimensionality-reduction  discriminant-analysis  sums-of-squares