Interpretação do intervalo de previsão bayesiano de 95%

Suponha o seguinte modelo de regressão bivariado: que é iid para .

y_{i} = β x_{i} + u_{i},

$y_i = \beta x_i + u_i,$

u_{i}

$u_i$

N (0, σ^{2} = 9)

$N(0, \sigma^2 = 9)$

i = 1, \dots, n

$i = 1,\ldots, n$

Suponha que um anterior não informativo , então seja possível mostrar que o pdf posterior para é onde $p(\beta) \propto \text{constant}$ $\beta$

p (β | y) = (18 π)^{- \frac{1}{2}} {(\sum_{i = 1}^{n} x_{i}^{2})}^{\frac{1}{2}} \exp [- \frac{1}{18} \sum_{i = 1}^{n} x_{i}^{2} (β - \hat{β})^{2}],

$p(\beta|\mathbf{y}) = (18\pi)^{-\frac{1}{2}}\left(\sum_{i=1}^n x_i^2\right)^{\frac{1}{2}} \exp\left[-\frac{1}{18}\sum_{i=1}^n x_i^2 (\beta - \hat{\beta})^2\right],$

\hat{β} = (\sum_{i = 1}^{n} y_{i} x_{i}) / (\sum_{i = 1}^{n} x_{i}^{2}) .

$\hat{\beta} = (\sum_{i=1}^n y_ix_i)/(\sum_{i=1}^n x_i^2).$

Agora considere o valor de com um determinado valor futuro de , : que é iid , então podemos mostrar que é uma densidade normal com expectativa e variação Portanto, a função de densidade de probabilidade posterior para , condicional em , é $y$ $x$ $x_{n+1}$

y_{n + 1} = β x_{n + 1} + u_{n + 1},

$y_{n+1} = \beta x_{n+1} + u_{n+1},$

u_{n + 1}

$u_{n+1}$

N (0, σ^{2} = 9)

$N(0, \sigma^2 = 9)$

p (y_{n + 1} | x_{n + 1}, y) = \int_{β} p (y_{n + 1} | x_{n + 1}, β, y) p (β | y) d β

$p(y_{n+1}|x_{n+1},\mathbf{y}) = \int_{\beta} p(y_{n+1}|x_{n+1}, \beta, \mathbf{y}) p(\beta|\mathbf{y})d\beta$

E [y_{n + 1} | x_{n + 1}, y] = \hat{β} x_{n + 1}, v a r [y_{n + 1} | x_{n + 1}, y] = \frac{9 [x_{n + 1}^{2} + \sum_{i = 1}^{n} x_{i}^{2}]}{\sum_{i = 1}^{n} x_{i}^{2}} .

$E[y_{n+1}|x_{n+1},\mathbf{y}] = \hat{\beta}x_{n+1},\quad {\rm var}[y_{n+1}|x_{n+1},\mathbf{y}] = \frac{9[x_{n+1}^2 + \sum_{i=1}^n x_i^2]}{\sum_{i=1}^n x_i^2}.$

y_{n + 1}

$y_{n+1}$

x_{n + 1}

$x_{n+1}$

\begin{aligned} p (y_{n + 1} | x_{n + 1}, y) = & {(\frac{18 π [x_{n + 1}^{2} + \sum_{i = 1}^{n} x_{i}^{2}]}{\sum_{i = 1}^{n} x_{i}^{2}})}^{- \frac{1}{2}} \\ \times \exp {- \frac{\sum_{i = 1}^{n} x_{i}^{2}}{18 (x_{n + 1}^{2} + \sum_{i = 1}^{n} x_{i}^{2})} {(y_{n + 1} - \hat{β} x_{n + 1})}^{2}} \end{aligned}

$\begin{align} p(y_{n+1}|x_{n+1},\mathbf{y}) = &\left(\frac{18\pi\left[x_{n+1}^2 + \displaystyle{\sum_{i=1}^n x_i^2}\right]}{ \displaystyle{\sum_{i=1}^n x_i^2}}\right)^{-\frac{1}{2}} \\ & \times \exp\left\{-\frac{\displaystyle{\sum_{i=1}^n x_i^2}}{18\left(x_{n+1}^2 + \displaystyle{\sum_{i=1}^n x_i^2}\right)}\left(y_{n+1}-\hat{\beta}x_{n+1}\right)^2\right\} \end{align}$

Agora a pergunta é: especifique um intervalo de previsão de 95% para e interprete-o com cuidado. De que aspectos do processo de geração de dados o intervalo falha para acomodar nossa incerteza? $y_{n+1}$

Não tenho muita certeza de como responder à pergunta, mas aqui está minha tentativa:

Então, essencialmente, precisamos encontrar alguns e modo que $a$ $b$ $P(a < y_{n+1} < b) = \int_{a}^b p(y_{n+1}|x_{n+1}, \mathbf{y}) dy_{n+1} = 95\%$

Agora sabemos que onde e ; Portanto, $y_{n+1}|x_{n+1}, \mathbf{y} \sim N(m, v^2)$ $m = E[y_{n+1}|x_{n+1},\mathbf{y}]$ $v^2 = var[y_{n+1}|x_{n+1},\mathbf{y}]$

\frac{y_{n + 1} - m}{v} \sim N (0, 1)

$\frac{y_{n+1}-m}{v} \sim N(0,1)$

P (- 1.96 < \frac{y_{n + 1} - m}{v} < 1.96) = 95 %

$P(-1.96 < \frac{y_{n+1}-m}{v} < 1.96) = 95\%$

P (- 1.96 v + m < y_{n + 1} < 1.96 v + m) = 95 %

$P(-1.96v+m < y_{n+1} < 1.96v+m) = 95\%$

Agora, porque estamos condicionando e observando a expressão para e , vemos que e são valores conhecidos. Assim, podemos tomar e . ou seja, podemos selecionar muitas outras possibilidades de e , que deu uma probabilidade de ... mas como isso se relaciona com responder a parte da pergunta que pergunta o que aspectos do processo de geração de dados neste intervalo não consegue acomodar? $x_{n+1}$ $v$ $m$ $v$ $m$ $a = -1.96v+m$ $b = 1.96v+m$ $a$ $b$ $95\%$

— TeTs
fonte

Por favor, adicione a tag auto-estudo se for um dever de casa ou uma tentativa de um problema de livro didático.

— Nick Cox

@ Nick Cox Obrigado por me informar, eu adicionei a etiqueta de auto-estudo.

— TeTs

Será que o intervalo especificamente não nos dá nenhum entendimento sobre a forma do processo de geração de dados? Ou seja, não sabemos a combinação de média / variância apenas a partir do intervalo?

Pergunta estranha. Existe um contexto anterior ao exercício? Por que você diz um modelo de regressão bivariado ?

— Stéphane Laurent

O intervalo acomoda toda a incerteza no problema. Na descrição do problema, as únicas coisas que você não conhece são e . O intervalo de previsão que você derivou acomoda a incerteza em ambos. Portanto, não resta incerteza para o intervalo "falhar em acomodar". $\beta$ $u$

— Tom Minka
fonte

Ainda há incerteza quanto ao fato de o modelo estar ou não correto.

— Xi'an

O modelo foi declarado como uma suposição. Portanto, não há incerteza sobre isso.

— Tom Minka

Suponho que o que se quer dizer é que a distribuição preditiva representa toda a incerteza no problema e o intervalo resume apenas algum aspecto dessa distribuição. Ainda assim, não está claro que, como intervalo, deixe algo de fora.

— conjugateprior