Estatísticas e Big Data

Recebi um artigo relatando um estudo muito semelhante ao que meu laboratório deseja executar. Mas notei que, para a variável de interesse Duração, os DPs são maiores que a média ... já que essa duração é medida em minutos, nunca pode ser negativa e isso me parece muito estranho. Isso …

9 standard-deviation  power-analysis 

Em um comentário à resposta desta pergunta , foi afirmado que o uso de AIC na seleção de modelos era equivalente a usar um valor-p de 0,154. Eu tentei em R, onde usei um algoritmo de seleção de subconjunto "para trás" para descartar variáveis ​​de uma especificação completa. Primeiro, jogando …

9 model-selection  p-value  aic 

Alguém tem experiência com abordagens para selecionar o número de componentes principais esparsos para incluir em um modelo de regressão?

9 pca  sparse  regression-strategies 

Vi este post na Moz, que apresentava um funil de marketing segmentado: Esse tipo de coisa teria muito valor no meu trabalho. O que não faço ideia é como visualizar dados brutos para mostrar um funil segmentado como este. A ideia é que os leads de vendas venham de diferentes …

9 data-visualization  python  funnel-plot 

ConsidereXn= ⎧⎩⎨1 1- 12kwp ( 1 - 2- n) / 2wp ( 1 - 2- n) / 2wp 2- k para k > nXn={1w.p. (1−2−n)/2−1w.p. (1−2−n)/22kw.p. 2−k for k>nX_n = \begin{cases} 1 & \text{w.p. } (1 - 2^{-n})/2\\ -1 & \text{w.p. } (1 - 2^{-n})/2\\ 2^k & \text{w.p. } 2^{-k} …

9 probability  self-study  central-limit-theorem  moments  asymptotics 

Eu tenho lido a distância de Cook para identificar discrepâncias que têm alta influência em minha regressão. No estudo original de Cook, ele diz que uma taxa de corte de 1 deve ser comparável para identificar influenciadores. No entanto, vários outros estudos usam ou como ponto de corte.4n4n\frac{4}{n}4n−k−14n−k−1\frac{4}{n-k-1} No meu …

9 outliers  cooks-distance 

Dado que N= nN=nN = n , a distr condicional. de YYY é χ2( 2 n )χ2(2n)\chi ^2(2n) . NNN tem distr marginal. de Poisson ( θθ\theta ), θθ\theta é uma constante positiva. Mostre que, como θ → ∞θ→∞\theta \rightarrow \infty , ( Y - E ( Y ) ) …

9 self-study  poisson-distribution  conditional-probability  convergence  central-limit-theorem 

O livro Elements of Statistical Learning (disponível em PDF online) discute o viés otimista (7.21, página 229). Ele afirma que o viés de otimismo é a diferença entre o erro de treinamento e o erro dentro da amostra (erro observado se coletarmos novos valores de resultado em cada um dos …

9 error  bias  validation 

Ouvi dizer que todos os condicionais completos (usados ​​na amostragem de Gibbs) podem determinar a distribuição conjunta. Mas não entendo por que e como. Ou ouvi mal? Obrigado!

9 distributions 

Tenho muitas séries temporais com períodos: dia, semana ou mês. Com stl()função ou com loess(x ~ y), posso ver como são as tendências de determinadas séries temporais. Preciso detectar se a tendência das séries temporais está aumentando ou diminuindo. Como posso gerenciar isso? Tentei calcular coeficientes de regressão linear lm(x …

9 r  time-series  trend 

Estou tendo problemas para criar alguma intuição sobre entropia conjunta. = incerteza na distribuição conjunta ; = incerteza em ; = incerteza em .H(X,Y)H(X,Y)H(X,Y)p(x,y)p(x,y)p(x,y)H(X)H(X)H(X)px(x)px(x)p_x(x)H(Y)H(Y)H(Y)py(y)py(y)p_y(y) Se H (X) for alto, a distribuição será mais incerta e, se você souber o resultado dessa distribuição, terá mais informações! Então H (X) também quantifica …

9 information-theory  mutual-information 

Quero ajustar um DLM com coeficientes variáveis ​​no tempo, ou seja, uma extensão da regressão linear usual, yt=θ1 1+θ2x2yt=θ1 1+θ2x2y_t = \theta_1 + \theta_2x_2 . Eu tenho um preditor ( ) e uma variável de resposta ( ), capturas anuais de peixes no mar e no interior, respectivamente, de 1950 …

9 r  regression  time-series  dlm  dynamic-regression 

Eu tenho lido sobre o MLE como um método de gerar uma distribuição ajustada. Me deparei com uma declaração dizendo que as estimativas de probabilidade máxima "têm distribuições normais aproximadas". Isso significa que, se eu aplicar o MLE várias vezes sobre meus dados e a família de distribuições em que …

9 normal-distribution  estimation  maximum-likelihood 

Depois de me deparar com o conceito em um livro de estatística, tentei entender o assunto e finalmente cheguei a uma conclusão que parece se encaixar em todas as explicações que já vi até agora: um intervalo confiável é o que os não estatísticos acham que é uma confiança intervalo …

9 confidence-interval  methodology  credible-interval 

Edit: A base da minha pergunta é falha, e eu preciso gastar algum tempo para descobrir se isso pode ser feito para fazer sentido. Edit 2: Esclarecendo que reconheço que um valor p não é uma medida direta da probabilidade de uma hipótese nula, mas que assumo que quanto mais …

9 hypothesis-testing  p-value