Estatísticas e Big Data

É claro para mim, e bem explicado em vários sites, quais informações os valores na diagonal da matriz hat fornecem regressão linear. A matriz hat de um modelo de regressão logística é menos clara para mim. É idêntico à informação que você obtém da matriz hat, aplicando regressão linear? Esta …

12 regression  logistic 

Por que é necessário colocar a premissa distributiva nos erros, ou seja, yi=Xβ+ϵiyi=Xβ+ϵiy_i = X\beta + \epsilon_{i} , comϵi∼N(0,σ2)ϵi∼N(0,σ2)\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2}) . Por que não escrever yi=Xβ+ϵiyi=Xβ+ϵiy_i = X\beta + \epsilon_{i} , comyi∼N(Xβ^,σ2)yi∼N(Xβ^,σ2)y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2}) , onde em qualquer dos casos ϵi=yi−y^ϵi=yi−y^\epsilon_i = y_i - \hat{y} . Eu vi enfatizar …

12 regression  normal-distribution  residuals  assumptions  notation 

A curtose é medir o pico e a planicidade de uma distribuição. A função de densidade da distribuição, se existir, pode ser vista como uma curva e possui características geométricas (como curvatura, convexidade, ...) relacionadas à sua forma. Então, eu me pergunto se a curtose de uma distribuição está relacionada …

12 kurtosis  geometry 

No livro PRML de Bishop, ele diz que o excesso de ajuste é um problema com a estimativa de máxima verossimilhança (MLE), e o Bayesian pode evitá-lo. Mas eu acho que o super ajuste é um problema mais sobre a seleção de modelos, não sobre o método usado para fazer …

12 bayesian  model-selection  overfitting 

Y=μ+σGY=μ+σGY=\mu+\sigma Gμμ\muWWWGGGRnRn\mathbb{R}^nFFFH0:{μ∈U}H0:{μ∈U}H_0\colon\{\mu \in U\}U⊂WU⊂WU \subset W Como podemos saber que essa estatística fornece o teste mais poderoso paraH0(talvez depois de descartar casos particulares incomuns)? Isso não deriva do teorema de Neyman-Pearson, porque afirma que o teste da razão de verossimilhança é o mais poderoso para hipóteses de pontosH0:{μ=μ0,σ=σ0}eH1:{f=ϕ(2logsupμ∈W,σ>0L(μ,σ|y)supμ∈U,σ>0L(μ,σ|y)).f=ϕ(2log⁡supμ∈W,σ>0L(μ,σ|y)supμ∈U,σ>0L(μ,σ|y)).f=\phi\left( 2\log \frac{\sup_{\mu …

12 hypothesis-testing  normal-distribution  linear-model  power  likelihood-ratio 

O de adequação usa a seguinte estatística : No teste, concedendo que estão reunidas as condições, utiliza-se o - distribuição para calcular o valor de p que, dada a H_0 é verdadeiro se poderia observar um tal valor em uma amostra representativa do mesmo tamanho.χ2χ2\chi^2χ20=∑i=1n(Oi−Ei)2Eiχ02=∑i=1n(Oi−Ei)2Ei \chi_0^2=\sum_{i=1}^n\frac{(O_i-E_i)^2}{E_i} χ2χ2\chi^2H0H0H_0 No entanto, para …

12 hypothesis-testing  chi-squared 

Considere uma distribuição beta para um determinado conjunto de classificações em [0,1]. Depois de calcular a média: μ = αα + βμ=αα+β \mu = \frac{\alpha}{\alpha+\beta} Existe uma maneira de fornecer um intervalo de confiança em torno dessa média?

12 mean  beta-distribution 

Acabei de ler em uma revista científica (popular) bastante respeitada (o PM alemão, 02/2013, p.36) sobre um experimento interessante (sem fonte, infelizmente). Isso chamou minha atenção porque intuitivamente duvidei do significado do resultado, mas as informações fornecidas foram suficientes para reproduzir os testes estatísticos. Os pesquisadores se perguntaram se ficar …

12 hypothesis-testing  chi-squared  experiment-design  proportion  biostatistics 

Estou usando o Bayes para resolver um problema de cluster. Depois de fazer alguns cálculos, acabo com a necessidade de obter a razão de duas probabilidades: P(A)/P(B)P(A)/P(B)P(A)/P(B) para obter P(H|D)P(H|D)P(H|D) . Essas probabilidades são obtidas pela integração de dois KDEs multivariados 2D diferentes, conforme explicado nesta resposta : P(A)=∬x,y:f^(x,y)<f^(ra,sa)f^(x,y)dxdyP(A)=∬x,y:f^(x,y)<f^(ra,sa)f^(x,y)dxdyP(A) = …

12 probability  bayesian  maximum-likelihood  kernel-smoothing 

Questão As pontuações dos testes de três grupos de pessoas são salvas como vetores separados em R. set.seed(1) group1 <- rnorm(100, mean = 75, sd = 10) group2 <- rnorm(100, mean = 85, sd = 10) group3 <- rnorm(100, mean = 95, sd = 10) Quero saber se existe uma …

12 r  hypothesis-testing  multiple-comparisons  mean  median 

Alguém pode me apontar na direção de um algoritmo online (recursivo) para a regularização de Tikhonov (mínimos quadrados regularizados)? Em uma configuração offline, eu calcularia β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY usando meu conjunto de dados original, onde λλλ é encontrado usando a validação cruzada n vezes. Um novo valor de yyy pode ser previsto …

12 regression  machine-learning  least-squares  regularization  online 

Essa é uma pergunta de visualização de dados - espero que seja bom fazer isso aqui. Quando é apropriado usar um preenchimento sob um gráfico de linhas para uma série temporal, como o gráfico abaixo? (que mostra os tempos de ping ao longo de um dia) Eu acho que é …

12 data-visualization 

Confunde / surpreende que o Binomial tenha uma variação proporcional a p(1−p)p(1−p)p(1-p) . Equivalentemente, as informações de Fisher são proporcionais a 1p(1−p)1p(1−p)\frac{1}{p(1-p)} . Qual é a razão para isto? Por que as informações de Fisher são minimizadas emp=0.5p=0.5p=0.5 ? Ou seja, por que a inferência é mais difícil em p=0.5p=0.5p=0.5 …

12 variance  binomial  interpretation 

Estou estudando sobre a distribuição t de Student e comecei a me perguntar como derivar a função de densidade das distribuições t (da wikipedia, http://en.wikipedia.org/wiki/Student%27s_t-distribution ): f(t)=Γ(v+12)vπ−−√Γ(v2)(1+t2v)−v+12f(t)=Γ(v+12)vπΓ(v2)(1+t2v)−v+12f(t) = \frac{\Gamma(\frac{v+1}{2})}{\sqrt{v\pi}\:\Gamma(\frac{v}{2})}\left(1+\frac{t^2}{v} \right)^{-\frac{v+1}{2}} onde são os graus de liberdade e Γ é a função gama. Qual é a intuição dessa função? Quero dizer, …

12 probability  normal-distribution  t-distribution 

Eu tenho algumas perguntas conceituais simples que gostaria de esclarecer sobre o MLE (Estimativa de Máxima Verossimilhança) e qual o vínculo que ele tem, se houver, com o EM (Maximização de Expectativas). Pelo que entendi, se alguém disser "Usamos o MLE", isso significa automaticamente que eles têm um modelo explícito …

12 estimation  maximum-likelihood  expectation-maximization