Estatísticas e Big Data

Estou regredindo um preditor contínuo em mais de 60 variáveis ​​(contínuas e categóricas) usando o LASSO (glmnet). Ao examinar o gráfico de rastreamento de variáveis, noto que, à medida que o log lambda aumenta, uma das principais variáveis ​​tem um coeficiente que realmente aumenta. Depois de um certo ponto, começa …

8 lasso  regularization  glmnet 

Introdução Eu tenho uma tabela de contingência categórica com muitas linhas e um resultado binário, que conto: name outcome1 outcome2 ---- -------- -------- A 14 5 B 17 2 C 6 5 D 11 8 E 18 14 Tudo bem, porque as duas categorias (nome e resultado) são independentes uma …

8 categorical-data  non-independent  predictor 

Os fatores de Bayes indicam o quão bem um determinado modelo é suportado. Diga que estou executando um experimento controlado e tenho dois modelos: o modelo nulo e o modelo alternativo. Se eu tiver um alto fator Bayes, posso argumentar que o tratamento é eficaz e propor a mudança?

8 hypothesis-testing  bayes  bayes-factors 

Estou tentando prever Poissondados, divididos em grupos, de 1-26 months of data, dependendo do grupo. Dos dados agrupados 65% has a value of 0e 25% a value of 1. Não encontrei nenhuma tendência ou sazonalidade, então comecei a testar alguns modelos diferentes de papelaria. Moving average (3), Moving Average (6), …

8 time-series  forecasting  count-data  prediction-interval  intermittent-time-series 

Recebi uma tabela de e , que são tais que o número de indica um quantidade de filhos que todos têm.x=(0,1,2,3,4,5,6)x=(0,1,2,3,4,5,6)x=(0,1,2,3,4,5,6)y=(3062,587,284,103,33,4,2)y=(3062,587,284,103,33,4,2)y=(3062,587,284,103,33,4,2)xixix_iyiyiy_i Me pediram para ajustar uma distribuição de Poisson a isso. O que significa ajustar uma distribuição de Poisson a isso? Aqui, p.8: http://www.stats.ox.ac.uk/~marchini/teaching/L5/L5.notes.pdf diz-se que o ajuste de Poisson …

8 self-study  distributions  maximum-likelihood  fitting 

Deixe ser um processo estocástico formada pela concatenação iid retira um AR (1) do processo, onde cada sorteio é um vector de comprimento 10. Por outras palavras, { X 1 , X 2 , ... , X 10 } são realizações de um processo de RA (1); { X 11 …

8 r  autocorrelation  independence  lags 

Como, por exemplo, a distribuição Gama diverge perto de zero (para um conjunto apropriado de parâmetros de escala e forma, digamos forma e escala ), e ainda tem sua área igual a um?= 10=0.1=0.1=0.1=10=10=10 Pelo que entendi, a área de uma distribuição de densidade de probabilidade deve sempre ser igual …

8 probability  distributions 

Suponha que a Terra tenha sido atacada por naves espaciais marcianas e suponha que temos mísseis para lançar contra as naves espaciais. A probabilidade de atingir e destruir cada nave espacial por cada míssil é (independente do resto).nnnm=k⋅nm=k⋅nm=k \cdot nnnnppp Qual é a probabilidade de destruir todas as naves espaciais …

8 probability  conditional-probability  markov-process  coupon-collector-problem 

Esta é mais uma questão filosófica, mas, do ponto de vista puramente bayesiano, como alguém realmente forma conhecimento prévio? Se precisarmos de informações prévias para realizar inferências válidas, parece haver um problema se precisarmos apelar à experiência passada para justificar as anteriores de hoje. Aparentemente, ficamos com a mesma pergunta …

8 bayesian  inference  philosophical 

A definição padrão de (digamos) um intervalo de confiança de 95% (IC) simplesmente requer que a probabilidade de que ele contenha o parâmetro true seja de 95%. Obviamente, isso não é único. A linguagem que eu vi sugere que, entre os muitos IC válidos, geralmente faz sentido encontrar algo como …

8 hypothesis-testing  confidence-interval 

Eu tenho um problema que se reduz a bolas nas urnas (na verdade é sobre referência e alelos alternativos nas populações). Suponha que eu tenha uma urna grande e bem misturada (iid draws) que possa conter duas cores de bolas: água-marinha e azul de ovo de robin ( a e …

8 hypothesis-testing 

Estou ajustando alguns modelos aditivos generalizados usando o mgcvpacote em R e quero testar entre dois modelos; se posso remover um termo ou não. Estou, no entanto, obtendo resultados conflitantes (até onde sei). Um modelo, m1, com um termo suave para xadicionado, parece dar um melhor ajuste em termos de …

8 r  regression  gam 

Como calcular o intervalo de confiança exato para o terceiro momento da distribuição normal ?N( a , σ2)N(a,σ2)N(a, \sigma^2)

8 probability  normal-distribution  mathematical-statistics  confidence-interval 

Casella e Berger declaram o Teorema de Basu (Th 6.2.24) da seguinte forma: Se é uma estatística completa e minimamente suficiente, então é independente de todas as estatísticas auxiliares.T( X)T(X)T(X)T( X)T(X)T(X) No entanto, na palestra, vi uma prova do teorema que usava apenas suficiência, não suficiência mínima. A prova era …

8 sufficient-statistics 

A taxa de descoberta falsa (Benjamini-Hochberg) é normalmente usada em 'Big Data', como estudos genéticos usando centenas de testes. Mas também pode ser usado em números menores de testes? Por exemplo, observando os resultados de dois grupos (homens versus mulheres) em, digamos, 10 a 20 questionários diferentes. O procedimento FDR …

8 multiple-comparisons  small-sample  false-discovery-rate