Regressão bayesiana com singular - O posterior é bem definido?

Comunidade SE, espero obter algumas idéias sobre o seguinte problema. Dado um modelo de regressão linear simples, Sob uma função de probabilidade gaussiana com termos de erro homoscedástico, a distribuição condicional da variável dependente assume a forma Atribuo um conjugado condicional (não informativo) antes para e foram . É um resultado padrão que a distribuição posterior marginal de seja multivariada com

Y = X β + ϵ, where Y \in R^{T}, X \in R^{T \times N} .

$Y=X\beta+\epsilon\text{ , where } Y\in\mathbb{R}^T,X\in\mathbb{R}^{T \times N}.$

Y | β, h \sim N (X β, h^{- 1} I) .

$Y|\beta,h \sim N(X\beta,h^{-1}I).$

β

$\beta$

h

$h$

β | h \sim N (0, c I), h \sim G (s^{- 2}, v)

$\beta|h \sim N(0,cI), h\sim G(s^{-2},v)$

c \to \infty, v \to 0

$c\rightarrow\infty, v\rightarrow0$

β

$\beta$

β | D \sim t_{N} (\hat{β}, \hat{Σ}, T) .

$\beta|D\sim t_N (\hat{\beta},\hat{\Sigma},T).$ O que acontece se

(X^{'} X)

$(X'X)$ for singular? Na regressão padrão, eu usaria o pseudo-inverso generalizado de Moore-Penrose

(X^{'} X)^{+}

$(X'X)^+$ vez de usar

(X^{'} X)^{- 1}

$(X'X)^{-1}$ . No entanto, neste caso, a variação posterior

\hat{Σ} := c (X^{'} X)^{- 1}

$\hat{\Sigma}:=c(X'X)^{-1}$ também seria singular e duvido que a distribuição

t

$t$ ainda esteja bem definida. Isso está correto?

E ainda mais perturbador para mim: suponha que eu não esteja realmente interessado na distribuição posterior de $\beta$ mas apenas em uma combinação linear $z:=A\beta$ que $A\in\mathbb{R}^{N-1 \times N}$ , e $|A\hat{\Sigma}A'|\neq 0$ . Eu seria capaz de fazer uma amostra dessa distribuição, embora sua construção seja baseada em algo que não está realmente definido (a distribuição de $\beta$ ). Existe uma maneira de lidar com isso? Ou há um erro essencial na minha pergunta que torna todo o meu argumento obsoleto?

— muffin1974
fonte

Na melhor das hipóteses, os antecedentes não informativos fornecem resultados úteis quando os dados identificam exclusivamente os parâmetros do modelo - Essa observação é basicamente a razão pela qual temos regressão de crista e seus parentes, em vez de confiar apenas no OLS. Mas se os dados não forem suficientemente informativos, normalmente você seguirá a rota de regressão regularizada (crista, etc) ou a rota completa de Bayes. Na rota completa de Bayes, basta definir distribuições anteriores apropriadas e informativas sobre seus dados e o problema será tratável.

— Sycorax diz Reinstate Monica

Obrigado por seus comentários até agora! Eu entendo que o posterior de não está definido corretamente. No entanto, isso realmente causa problemas para a variável aleatória que é pelo menos teoricamente bem definida?

β

$\beta$

z

$z$

— precisa saber é o seguinte

Bem. o que me confunde é que o posterior de parece plausível, embora o caminho para uma solução não seja satisfatório. Atualmente, estou procurando uma maneira de reescrever a equação de regressão, porque estou otimista de que seria possível obter diretamente os parâmetros de regressão vez de perder tempo pesquisando . No entanto, embora este parece possível no meu caso específico, eu estou ainda deixou com a pergunta o que significa que se um modelo de 'mau' está aninhado em um funcionamento um ...

z

$z$

z

$z$

β

$\beta$

— muffin1974

O principal problema da sua pergunta é que a obtenção de limites não se estende diretamente a medidas e distribuições de probabilidade. Existem muitos tipos diferentes de convergência associados às medidas.

Assim, considerando-se o conjugado e deixando e ir para e , respectivamente, não possuem um significado matemático adequado ou único.

β | h \sim N (0 0, c Eu), h \sim G (s^{- 2}, ν)

$\beta|h \sim \mathcal{N}(0,cI), h\sim \mathcal{G}(s^{-2},\nu)$

ν

$\nu$

c

$c$

0

$0$

\infty

$\infty$

Agora, se você considerar anterior inadequado, não haverá distribuição posterior associada à probabilidade porque o potencial posterior não se integra em condicional a . Não existe porque o inverso não existe e não há distribuição bem definida no .

π (β, h) \propto \frac{1}{h}

$\pi(\beta,h)\propto\frac{1}{h}$

eu (β, h | X, y) = \exp {- h (y - X β)^{T} (y - X β) / 2} h^{T / 2}

$L(\beta,h|X,y)=\exp\{-h(y-X\beta)^\text{T}(y-X\beta)/2\}h^{T/2}$

β

$\beta$

h

$h$

\hat{Σ} = (X^{T} X)^{- 1}

$\hat{\Sigma}=(X^\text{T}X)^{-1}$

A β

$A\beta$

— Xi'an
fonte