Estatísticas e Big Data

Tenho referências que recomendam considerar um tamanho de amostra mínimo de 20 para distribuição de ajuste de dados. Existe algum sentido nisso? obrigado

12 sample-size 

O que explica as diferenças nos valores de p no seguinte aove nas lmchamadas? A diferença é apenas devido a diferentes tipos de cálculos de somas de quadrados? set.seed(10) data=rnorm(12) f1=rep(c(1,2),6) f2=c(rep(1,6),rep(2,6)) summary(aov(data~f1*f2)) summary(lm(data~f1*f2))$coeff

12 r  regression  anova  linear-model  sums-of-squares 

Eu tenho um conjunto de dados com 8000 clusters e 4 milhões de observações. Infelizmente, meu software estatístico, Stata, roda lentamente ao usar sua função de dados em painel para regressão logística: xtlogitmesmo com uma subamostra de 10%. No entanto, ao usar a logitfunção não painel , os resultados aparecem …

12 logistic  categorical-data  stata  fixed-effects-model 

Estou executando um classificador binário no momento. Quando planto a curva ROC, recebo uma boa sustentação no início, depois ela muda de direção e cruza a diagonal e, é claro, de volta, tornando a curva em forma de S inclinada. O que pode ser uma interpretação / explicação para esse …

12 roc 

Eu tenho um histograma, densidade do kernel e uma distribuição normal ajustada dos retornos do log financeiro, que são transformados em perdas (os sinais são alterados) e um gráfico QQ normal desses dados: O gráfico QQ mostra claramente que as caudas não estão ajustadas corretamente. Mas se eu der uma …

12 data-visualization  normality-assumption  histogram  qq-plot 

Uma floresta aleatória pode ser treinada para prever adequadamente os dados de contagem? Como isso aconteceria? Eu tenho uma gama bastante extensa de valores para que a classificação não faça sentido. Se eu usasse regressão, simplesmente truncaria os resultados? Estou bastante perdido aqui. Alguma ideia?

12 r  regression  random-forest  prediction  count-data 

Para analisar dados de um experimento de biofísica, atualmente estou tentando fazer o ajuste de curvas com um modelo altamente não linear. A função model se parece basicamente com: y=ax+bx−1/2y=ax+bx−1/2y = ax + bx^{-1/2} Aqui, especialmente o valor de bbb é de grande interesse. Uma plotagem para esta função: (Observe …

12 curve-fitting  nonlinear 

Estou prototipando meu próprio modelo de saco de palavras Naive Bayes e tive uma pergunta sobre o cálculo das probabilidades de recurso. Digamos que eu tenho duas classes, vou usar spam e não spam, já que é isso que todo mundo usa. E vamos tomar a palavra "viagra" como exemplo. …

12 classification  conditional-probability  naive-bayes 

Estou familiarizado com notações como: ondeβ0j=β0+uj, eyij=β0+βixij+uj+eij=β0j+βixij+eijyij=β0+βixij+uj+eij=β0j+βixij+eij\begin{align} y_{ij} &= \beta_0 + \beta_i x_{ij} + u_j + e_{ij}\\ &= \beta_{0j} + \beta_i x_{ij} + e_{ij} \end{align}β0j=β0+ujβ0j=β0+uj\beta_{0j}=\beta_{0}+u_j ondeβ0j=β0+u0jeβ1j=β1+u1jyij=β0+β1xij+u0j+u1jxij+eij=β0j+β1jxij+eijyij=β0+β1xij+u0j+u1jxij+eij=β0j+β1jxij+eij\begin{align} y_{ij} &= \beta_0 + \beta_1 x_{ij} + u_{0j} + u_{1j} x_{ij} + e_{ij} \\ &= \beta_{0j} + \beta_{1j} x_{ij} + e_{ij} \end{align}β0j=β0+u0jβ0j=β0+u0j\beta_{0j}=\beta_{0}+u_{0j}β1j=β1+u1jβ1j=β1+u1j\beta_{1j}=\beta_1+u_{1j} para um …

12 mixed-model  mathematical-statistics 

O tênis tem um sistema de pontuação peculiar de três níveis, e eu me pergunto se isso tem algum benefício estatístico, do ponto de vista de uma partida como um experimento para determinar o melhor jogador. Para quem não conhece, nas regras normais, um jogo é ganho pelo primeiro a …

12 probability  inference  games 

Dado o mesmo conjunto de covariáveis ​​e família de distribuição, como posso comparar modelos com diferentes funções de link? Acho que a resposta correta aqui é "AIC / BIC", mas não tenho 100% de certeza. É possível ter modelos aninhados se eles tiverem um link diferente?

12 generalized-linear-model  aic  link-function 

RECOMPENSA: A recompensa total será concedido a alguém que fornece uma referência a qualquer documento publicado que os usos ou menciona o estimador F~F~\tilde{F} abaixo. Motivação: Esta seção provavelmente não é importante para você e eu suspeito que não ajudará você a receber a recompensa, mas como alguém perguntou sobre …

12 distributions  bernoulli-distribution  stratification  rejection-sampling  ecdf 

Eu tenho duas variáveis ​​aleatórias X>0X>0X > 0 e Y>0Y>0Y > 0 . Dado que eu posso estimar Cov(X,Y),Cov(X,Y),\text{Cov}(X, Y), como posso estimar Cov(log(X),log(Y))?Cov(log⁡(X),log⁡(Y))?\text{Cov}(\log(X), \log(Y))?

12 data-transformation  covariance  random-variable 

Eu quero calcular a função de sobrevivência prevista para um modelo de riscos proporcionais de Cox com termos de fragilidade [usando o pacote de sobrevivência]. Parece que quando termos de fragilidade estão no modelo, a função de sobrevivência prevista não pode ser calculada. ## Example require(survival) data(rats) ## Create fake …

12 r  survival  cox-model  frailty 

Estou trabalhando em um problema clássico de previsão de rotatividade usando o número de visitas de um determinado usuário a um site e achei que a Regressão de Poisson era a ferramenta certa para modelar o envolvimento futuro desse usuário. Quando então me deparei com um livro sobre análise de …

12 survival  hazard  poisson-process