Estatísticas e Big Data

A cotação em bloco abaixo, dos líderes no campo da modelagem de efeitos mistos, afirma que as mudanças de coordenadas nos modelos com correlação zero entre efeitos aleatórios (modelos 'ZCP') alteram as previsões do modelo. Mas, alguém pode elaborar ou justificar ainda mais suas reivindicações? As declarações em questão são …

25 r  mixed-model  lme4-nlme 

Estou lendo sobre a função quantil, mas não está claro para mim. Você poderia fornecer uma explicação mais intuitiva do que a fornecida abaixo? Como o cdf é uma função monotonicamente crescente, ele tem um inverso; vamos denotar isso por . Se é o cdf de , então é o …

25 distributions  cdf  inverse-cdf  quantile-function 

Eu me tornei um niilista quando se trata de classificações de importância variável (no contexto de modelos multivariados de todos os tipos). Frequentemente, no decorrer do meu trabalho, me pedem para ajudar outra equipe a produzir uma classificação de importância variável ou produzir uma classificação de importância variável a partir …

25 multiple-regression  multivariate-analysis  importance 

Atualmente, estou lutando para encontrar o modelo certo para dados de contagem difícil (variável dependente). Eu tentei vários modelos diferentes (modelos de efeitos mistos são necessários para o meu tipo de dados) como lmere lme4(com uma transformação de log), bem como modelos de efeitos mistos lineares generalizados com várias famílias, …

25 generalized-linear-model  residuals  negative-binomial  count-data  glmm 

Estou fazendo um experimento numérico que consiste em amostrar uma distribuição lognormal X∼LN(μ,σ)X∼LN(μ,σ)X\sim\mathcal{LN}(\mu, \sigma) e tentar estimar os momentos E[Xn]E[Xn]\mathbb{E}[X^n] por dois métodos: Olhando para a média amostral do XnXnX^n Estimando μμ\mu e σ2σ2\sigma^2 usando as médias da amostra para log(X),log2(X)log⁡(X),log2⁡(X)\log(X), \log^2(X) e depois usando o fato de que, para …

25 estimation  bias  lognormal  moments 

Ultimamente, tenho trabalhado com grandes conjuntos de dados e encontrei muitos documentos sobre métodos de streaming. Para nomear alguns: Líder seguidor-regularizado e descida espelhada: teoremas de equivalência e regularização L1 ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Aprendizado em fluxo contínuo: SVMs de uma passagem ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: Primal estimado sub-GrAdient SOlver para …

25 machine-learning  references  large-data  online 

No livro de Jaynes "Teoria da Probabilidade: A Lógica da Ciência" , Jaynes tem um capítulo (Capítulo 18) intitulado "A distribuição e regra de sucessão", no qual ele introduz a idéia das distribuições , que esta passagem ajuda a ilustrar:A pUMApUMApA_pUMApUMApA_p [...] Para ver isso, imagine o efeito de obter …

25 probability  bayesian  beta-distribution 

Lendo os clássicos de todos os tempos, encontrei uma declaração que gostaria de esclarecer. Este é o post e minha pergunta se refere às considerações finais: "Tenho que observar que todo o conhecimento que acabei de transmitir é um pouco obsoleto; agora que temos computadores, podemos fazer melhor que os …

25 hypothesis-testing  t-test  permutation-test  wilcoxon-mann-whitney 

A estimativa de máxima verossimilhança geralmente resulta em estimadores enviesados ​​(por exemplo, sua estimativa para a variação da amostra é enviesada para a distribuição gaussiana). O que o torna tão popular? Por que exatamente é usado tanto? Além disso, o que em particular o torna melhor do que a abordagem …

25 normal-distribution  maximum-likelihood  method-of-moments 

Gostaria de mostrar como os valores de certas variáveis ​​(~ 15) mudam ao longo do tempo, mas também gostaria de mostrar como as variáveis ​​diferem umas das outras a cada ano. Então eu criei esse enredo: Mas mesmo ao alterar o esquema de cores ou adicionar diferentes tipos de linha …

25 r  data-visualization 

Eu sei que as comunidades de física e matemática gostam muito do ArXiv, mas e a comunidade de estatísticas? É costume postar lá antes da submissão?

25 references  academia 

Eu li um artigo dizendo que, ao usar contrastes planejados para encontrar meios diferentes de uma ANOVA de uma maneira, os contrastes devem ser ortogonais, para que não sejam correlacionados e impeçam que o erro do tipo I seja inflado. Não entendo por que ortogonal significaria sem correlação sob nenhuma …

25 correlation  independence 

O lmerTestpacote fornece uma anova()função para modelos mistos lineares com a aproximação opcional de Satterthwaite (padrão) ou Kenward-Roger dos graus de liberdade (df). Qual é a diferença entre essas duas abordagens? Quando escolher qual?

25 r  anova  mixed-model  lme4-nlme  degrees-of-freedom 

Suponha que eu estou correndo uma regressão . Por seleccionando top principais componentes do , é que o modelo de manter o seu poder preditivo em ?k X YY∼XY∼XY \sim XkkkXXXYYY Eu entendo que a partir de-redução de dimensionalidade / ponto de recurso de seleção de vista, se são os …

25 regression  classification  pca  dimensionality-reduction  regularization 

Sabe-se que as florestas aleatórias têm um desempenho razoavelmente bom em uma variedade de tarefas e são conhecidas como o homem de couro dos métodos de aprendizagem . Existem tipos de problemas ou condições específicas nas quais se deve evitar o uso de uma floresta aleatória?

25 machine-learning  classification  random-forest