Estatísticas e Big Data

Estou usando o pacote gbm para classificação. Como esperado, os resultados são bons. Mas estou tentando entender a saída do classificador. Existem cinco termos na saída. `Iter TrainDeviance ValidDeviance StepSize Improve` Alguém poderia explicar o significado de cada termo, especialmente o significado de Melhorar .

15 r  machine-learning 

Quais são os benefícios de especificar uma estrutura de covariância em um GLM (em vez de tratar todas as entradas fora da diagonal na matriz de covariância como zero)? Além de refletir o que se sabe dos dados, ele faz melhorar a qualidade do ajuste? melhorar a precisão preditiva em …

15 generalized-linear-model  covariance 

Me deparei com a transformação de estabilização de variância enquanto lia o método Kaggle Essay Eval . Eles usam uma transformação de estabilização de variância para transformar valores kappa antes de obter sua média e depois transformá-los de volta. Mesmo depois de ler o wiki sobre transformações de estabilização de …

15 variance  mathematical-statistics 

MAD = Desvio Absoluto Médio MSE = Erro Quadrático Médio Vi sugestões de vários lugares em que o MSE é usado, apesar de algumas qualidades indesejáveis ​​(por exemplo , http://www.stat.nus.edu.sg/~staxyc/T12.pdf , que afirma na p8 "Acredita-se que MAD é um critério melhor que o MSE. No entanto, matematicamente o MSE …

15 forecasting  error  mse  mae 

Um dos problemas que sempre tive com modelos mistos é descobrir visualizações de dados - do tipo que pode acabar em um papel ou pôster - depois de obter os resultados. No momento, estou trabalhando em um modelo de efeitos mistos de Poisson com uma fórmula semelhante à seguinte: a …

15 r  data-visualization  mixed-model 

Estou tentando usar a regressão aleatória de floresta no scikits-learn. O problema é que estou recebendo um erro de teste muito alto: train MSE, 4.64, test MSE: 252.25. É assim que meus dados ficam: (azul: dados reais, verde: previsto): Estou usando 90% para treinamento e 10% para teste. Este é …

15 regression  random-forest  scikit-learn 

Do randoness estatístico de Wikipedia : Aleatoriedade global e aleatoriedade local são diferentes. A maioria das concepções filosóficas de aleatoriedade é global - porque elas se baseiam na idéia de que "a longo prazo" uma sequência parece verdadeiramente aleatória, mesmo que certas sub-sequências não pareçam aleatórias. Em uma sequência "verdadeiramente" …

15 mathematical-statistics  random-generation 

Recentemente, um cliente me procurou para fazer uma análise de autoinicialização porque um revisor da FDA disse que a regressão de erros nas variáveis ​​era inválida porque, ao agrupar dados de sites, a análise incluía dados de três sites em que dois sites incluíam algumas amostras. o mesmo. FUNDO O …

15 regression  errors-in-variables  deming-regression  pooling 

Estou procurando alguns bons exemplos de situações inadequadas para modelar com uma distribuição Poisson, para me ajudar a explicar a distribuição Poisson para os alunos. Geralmente, usa-se o número de clientes que chegam a uma loja em um intervalo de tempo como um exemplo que pode ser modelado por uma …

15 poisson-distribution  teaching 

Estou fazendo um curso de pós-graduação em Estatística Aplicada que usa o seguinte livro (para dar uma idéia do nível do material coberto): Conceitos e Métodos Estatísticos , de GK Bhattacharyya e RA Johnson. O professor exige que usemos o SAS para os trabalhos de casa. Minha pergunta é: existe …

15 r  sas  java 

TLDR: Meu conjunto de dados é bem pequeno (120) amostras. Ao fazer a validação cruzada de 10 vezes, devo: Colete as saídas de cada dobra de teste, concatene-as em um vetor e calcule o erro nesse vetor completo de previsões (120 amostras)? Ou devo vez calcular o erro nas saídas …

15 classification  cross-validation  small-sample 

Como parte de uma tarefa, tive que ajustar um modelo com duas variáveis ​​preditoras. Tive então que desenhar um gráfico dos resíduos dos modelos em relação a um dos preditores incluídos e fazer alterações com base nisso. O gráfico mostrou uma tendência curvilínea e, portanto, incluí um termo quadrático para …

15 statistical-significance  multiple-regression  modeling 

Considere a solução de Jaynes para o paradoxo de Bertrand usando o princípio da indiferença . Por que um argumento semelhante não se aplica ao paradoxo de Borel-Kolmogorov ? Há algo errado em argumentar que, como o problema não especifica uma orientação para a esfera, girar a esfera não deve …

15 theory  paradox 

Estou fazendo uma regressão de riscos proporcionais de Cox em R usando coxph, que inclui muitas variáveis. Os resíduos de Martingale parecem ótimos, e os resíduos de Schoenfeld são ótimos para QUASE todas as variáveis. Existem três variáveis ​​cujos resíduos de Schoenfeld não são planos e a natureza das variáveis …

15 r  model  cox-model  hazard  schoenfeld-residuals 

Este termo aparece frequentemente nos encadeamentos relacionados ao método . A combinação de um método específico para mineração de dados e aprendizado estatístico? Não consigo obter um resultado relevante do google. Parece que a mistura está misturando resultados de muitos modelos e resultando em um resultado melhor. Existe algum recurso …

15 machine-learning  data-mining  unsupervised-learning  statistical-learning