Estatísticas e Big Data

Eu tenho um conjunto de pontos de dados que deveriam ficar em um lugar geométrico e seguir um padrão, mas existem alguns pontos de dispersão do lugar geométrico principal que causam incerteza em minha análise final. Eu gostaria de obter um local limpo para aplicá-lo mais tarde em minha análise. …

9 outliers  scatterplot 

library(lme4) out <- glmer(cbind(incidence, size - incidence) ~ period + (1 | herd), data = cbpp, family = binomial, contrasts = list(period = "contr.sum")) summary(out) Fixed effects: Estimate Std. Error z value Pr(>|z|) (Intercept) -2.32337 0.22129 -10.499 < 2e-16 *** period1 0.92498 0.18330 5.046 4.51e-07 *** period2 -0.06698 0.22845 -0.293 …

9 r  binomial  logit  lme4-nlme 

Pelo que entendi, o argumento cp para a rpartfunção ajuda a pré-podar a árvore da mesma maneira que os argumentos minsplit ou minbucket. O que não entendo é como os valores de CP são calculados. Por exemplo df<-data.frame(x=c(1,2,3,3,3,4), y=as.factor(c(TRUE, TRUE, FALSE, TRUE, FALSE, FALSE)), method="class") mytree<-rpart(y ~ x, data = …

9 r  cart  rpart 

Suponha que você queira estimar um modelo linear: ( nnn observações da resposta p + 1p+1p+1 preditores) E ( yEu) = β0 0+ ∑j = 1pβjxeu jE(yEu)=β0 0+∑j=1pβjxEuj\mathbb{E}(y_i) = \beta_0 + \sum_{j=1}^p \beta_j x_{ij} Uma maneira de fazer isso é através da solução OLS, ou seja, escolha os coeficientes para …

9 regression  loss-functions 

Estou tentando quantificar o grau de inflação (ou seja, qual a melhor forma de os pontos de dados observados se ajustarem ao esperado). Uma maneira é também olhar para o enredo QQ. Mas eu gostaria de calcular algum indicador numérico para inflação - significa que quão bem o observado se …

9 probability  distributions  qq-plot 

Estou lutando com pontos de projeção na análise discriminante linear (LDA). Muitos livros sobre métodos estatísticos multivariados ilustram a idéia do LDA com a figura abaixo. A descrição do problema é a seguinte. Primeiro, precisamos traçar o limite da decisão, adicionar uma linha perpendicular e, em seguida, plotar as projeções …

9 r  machine-learning  classification  discriminant-analysis 

Eu tenho 2 matrizes de correlação e B (usando o coeficiente de correlação linear de Pearson através do corrcoef de Matlab () ). Gostaria de quantificar quanto "mais correlação" A contém comparação com B . Existe alguma métrica ou teste padrão para isso?AAABBBAAABBB Por exemplo, a matriz de correlação contém …

9 correlation  matlab  correlation-matrix 

Geralmente é simples fazer um Power Analysiscálculo minimum sample size, especialmente em R, que é o meu ambiente de computação estatística preferido. No entanto, me pedem para realizar uma Análise de energia um pouco diferente de tudo o que fiz ou ao qual posso encontrar referência online. Gostaria de saber …

9 t-test  sample-size  power-analysis  power-law 

A distribuição Lognormal pertence ao domínio máximo de atração de Gumbel , onde: FlogN(x;μ,σ)=Φ(lnx−μσ)FlogN(x;μ,σ)=Φ(ln⁡x−μσ)F^{logN}(x; \mu,\sigma)=\Phi\left(\frac{\ln x - \mu}{\sigma}\right), FGum(x;μ,β)=e−exp(−x−μβ)FGum(x;μ,β)=e−exp⁡(−x−μβ)F^{Gum}(x;\mu,\beta) = e^{-\exp\left({-\frac{x-\mu}{\beta}}\right)} Minha pergunta : Temos e ?μ=μμ=μ\mu=\muσ=βσ=β\sigma=\beta A distribuição Generalized Extreme Value também usa a notação (Gumbel é o caso limite ), e comparar os CDFs para Standard-Lognormal e Standard-Gumbel …

9 lognormal  extreme-value 

Qual é a melhor maneira de preparar interações de recursos categóricos antes de se adaptar ao scikit-learn? Com statsmodelseu poderia dizer convenientemente em estilo R smf.ols(formula = 'depvar ~ C(var1)*C(var2)', data=df).fit()(o mesmo em Stata com regress depvar i.var1##i.var2). Pode sklearn.preprocessing.PolynomialFeatures(na v0.15, atualmente dev) ser usado com variáveis ​​categóricas?

9 machine-learning  interaction  python  scikit-learn 

Suponha que tenhamos um teste de conjunto de dados : 1 8 12 14 . . 19 Os . denota falta valores. Quando seria melhor usar a média dos valores não ausentes para imputá-los, em vez de assumir que os dados provêm de uma distribuição normal?

9 missing-data 

O Guia para Iniciantes do Zuur 2013 do GLM e GLMM sugere a validação de uma regressão de Poisson, plotando os resíduos de Pearsons em relação aos valores ajustados. Zuur afirma que não devemos ver os resíduos se espalhando à medida que os valores ajustados aumentam, como o gráfico anexado …

9 residuals  poisson-regression 

Eu tenho visto uma quantidade razoável de literatura sobre como escolher kernels e larguras de banda ao calcular uma estimativa de densidade de kernel, mas atualmente estou interessado em como melhorar o tempo necessário para avaliar o KDE resultante em um número arbitrário de pontos. No meu caso, estou usando …

9 kernel-smoothing 

Estou tentando desenvolver um modelo preditivo para uma variável dependente angular (em usando várias medidas independentes - também variáveis ​​angulares, em - como preditores. Cada preditor está significativamente, mas não extremamente, fortemente correlacionado com a variável dependente. Como posso combinar os preditores para determinar um modelo preditivo para a variável …

9 regression  multiple-regression  circular-statistics 

Aqui estão os dados: > tires <- data.frame(Wear = c(17, 14, 12, 13, 14, 14, 12, 11, 13, 13, 10, 11, 13, 8, 9, 9), Brand = rep(LETTERS[1:4], 4), Car = as.character(as.roman(rep(1:4, each = 4)))) > tires Wear Brand Car 1 17 A I 2 14 B I 3 12 …

9 r  anova  dataset  degrees-of-freedom