Estatísticas e Big Data

Digamos que eu tenha alguns dados históricos, por exemplo, preços das ações anteriores, flutuações no preço das passagens aéreas, dados financeiros anteriores da empresa ... Agora alguém (ou alguma fórmula) aparece e diz "vamos pegar / usar o log da distribuição" e aqui é onde vou POR QUE ? Questões: …

174 distributions  data-transformation  logarithm 

Estou trabalhando com um pequeno conjunto de dados (21 observações) e tenho o seguinte gráfico QQ normal em R: Visto que o enredo não suporta a normalidade, o que eu poderia deduzir sobre a distribuição subjacente? Parece-me que uma distribuição mais inclinada para a direita seria mais adequada, certo? Além …

173 r  data-visualization  inference  qq-plot 

Ultimamente, tenho notado que muitas pessoas estão desenvolvendo equivalentes a tensores de vários métodos (fatoração de tensão, núcleos de tensor, tensores para modelagem de tópicos etc.). Estou me perguntando, por que o mundo de repente é fascinado por tensores? Existem trabalhos recentes / resultados padrão que são particularmente surpreendentes, que …

171 machine-learning  references  matrix  linear-algebra  tensor 

Digamos que eu queira estimar um grande número de parâmetros e quero penalizar alguns deles porque acredito que eles devem ter pouco efeito em comparação com os outros. Como decido qual esquema de penalização usar? Quando a regressão de crista é mais apropriada? Quando devo usar o laço?

167 regression  lasso  ridge-regression 

Bem, temos citações estatísticas favoritas. E as piadas sobre estatísticas?

166 references  humor 

Estou procurando uma distribuição melhor comportada para a variável independente em questão, ou para reduzir o efeito de outliers ou algo mais?

164 regression  distributions  data-transformation  logarithm  regression-strategies 

Se você tiver uma variável que separa perfeitamente os zeros e os da variável de destino, R produzirá a seguinte mensagem de aviso "separação perfeita ou quase perfeita": Warning message: glm.fit: fitted probabilities numerically 0 or 1 occurred Ainda temos o modelo, mas as estimativas do coeficiente são infladas. Como …

163 r  regression  logistic  separation 

Recentemente, li um post da R-Bloggers, vinculado a este post do John Myles White sobre um novo idioma chamado Julia . Julia tira proveito de um compilador just-in-time que oferece maus tempos de execução rápidos e o coloca na mesma ordem de magnitude de velocidade que o C / C …

161 r  computational-statistics  software  computing  julia 

Há muita discussão neste fórum sobre a maneira correta de especificar vários modelos hierárquicos usando lmer. Eu pensei que seria ótimo ter todas as informações em um só lugar. Algumas perguntas para começar: Como especificar vários níveis, em que um grupo está aninhado no outro: é (1|group1:group2)ou é (1+group1|group2)? Qual …

160 r  mixed-model  random-effects-model  fixed-effects-model  lme4-nlme 

Eu entendo as diferenças formais entre eles, o que eu quero saber é quando é mais relevante usar um vs. o outro. Eles sempre fornecem informações complementares sobre o desempenho de um determinado sistema de classificação / detecção? Quando é razoável fornecer os dois, digamos, em um artigo? em vez …

159 machine-learning  roc  precision-recall 

Depois de ler um conjunto de dados: dataset <- read.csv("forR.csv") Como posso obter o R ​​para me fornecer o número de casos que ele contém? Além disso, o valor retornado incluirá casos de exclusão omitidos com na.omit(dataset)?

157 r 

Eu sei que generativo significa "baseado em " e discriminativo significa "baseado em ", mas estou confuso em vários pontos:P( x , y)P(x,y)P(x,y)P( y| x)P(y|x)P(y|x) A Wikipedia (+ muitas outras ocorrências na web) classificam coisas como SVMs e árvores de decisão como discriminatórias. Mas estes nem sequer têm interpretações probabilísticas. …

153 machine-learning  generative-models 

Quais são as principais diferenças entre realizar a análise de componentes principais (PCA) na matriz de correlação e na matriz de covariância? Eles dão os mesmos resultados?

153 correlation  pca  covariance  factor-analysis 

Na página da Wikipedia sobre classificadores ingênuos de Bayes , existe esta linha: p ( h e i g h t | m a l e ) = 1,5789p(heEught|mumaeue)=1.5789p(\mathrm{height}|\mathrm{male}) = 1.5789 (Uma distribuição de probabilidade acima de 1 é OK. É a área sob a curva da campainha que é …

149 distributions  probability  normal-distribution  pdf 

Eu estou querendo saber como escolher um modelo preditivo depois de fazer a validação cruzada K-fold. Isso pode ser redigido de maneira desajeitada, então deixe-me explicar com mais detalhes: sempre que executo a validação cruzada K-fold, uso K subconjuntos dos dados de treinamento e termino com K modelos diferentes. Gostaria …

149 cross-validation  model-selection