verificar um posterior é adequado

Há um problema de lição de casa em um livro que pede para verificar a propriedade de uma certa distribuição posterior, e estou tendo um pequeno problema com isso. A configuração é que você tem um modelo de regressão logística com um preditor e um uniforme inadequado antes de . $\mathbb{R}^2$

Especificamente, assumimos para que portanto a probabilidade é O problema é que suspeito que esse posterior seja realmente impróprio. $i=1,\ldots,k$

y_{i} ∣ α, β, x_{i} \sim Binomial (n, invlogit (α + β x_{i})),

$y_i \mid \alpha, \beta,x_i \sim \text{Binomial}(n,\text{invlogit}(\alpha + \beta x_i)),$

p (y ∣ α, β, x) = \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{y_{i}} [1 - invlogit (α + β x_{i})]^{n - y_{i}} .

$p(y \mid \alpha, \beta, x ) = \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^{y_i}[1-\text{invlogit}(\alpha + \beta x_i)]^{n-y_i}.$

Para a situação específica em que , se usarmos a alteração das variáveis e , podemos ver que Na linha do asterisco, assumimos que , mas, se não, então terminamos com a mesma coisa. $k=1$ $s_1 = \text{invlogit}(\alpha + \beta x)$ $s_2 = \beta$

\begin{aligned} \iint_{R^{2}} p (y ∣ α, β, x) d α d β & = \iint_{R^{2}} [invlogit (α + β x)]^{y} [1 - invlogit (α + β x)]^{n - y} d α d β \\ = \int_{- \infty}^{\infty} \int_{0}^{1} s_{1}^{y - 1} (1 - s_{1})^{n - y - 1} d s_{1} d s_{2} \\ (*) & = B (y, n - y) \int_{- \infty}^{\infty} 1 d s_{2} \\ = \infty . \end{aligned}

$\begin{align*} \iint_{\mathbb{R}^2}p(y \mid \alpha, \beta, x ) \text{d}\alpha \text{d}\beta &= \iint_{\mathbb{R}^2}[\text{invlogit}(\alpha + \beta x)]^{y}[1-\text{invlogit}(\alpha + \beta x)]^{n-y} \text{d}\alpha \text{d}\beta \\ &= \int_{-\infty}^{\infty}\int_0^1 s_1^{y-1}(1-s_1)^{n-y-1} \text{d}s_1 \text{d}s_2 \\ &= B(y,n-y) \int_{-\infty}^{\infty} 1 \text{d}s_2 \tag{*}\\ &= \infty. \end{align*}$

0 < y < n

$0 < y < n$

Estou fazendo algo bobo aqui? Ou isso é um posterior impróprio?

— Taylor
fonte

À primeira vista - sem considerar os detalhes -, é surpreendentemente estranho que (a) você integre valores positivos e negativos de

β

$\beta$ e (b) um fator de

1 / β

$1/\beta$ não apareça quando você altera variáveis. Talvez, então, um pouco de atenção à mecânica da integração resolva seu problema.

— whuber

Não fiz nenhuma matemática para apoiar isso, mas tanto minha intuição quanto minha memória dizem que você está certo e que o posterior não precisa ser adequado. Por analogia, se você fixar , um plano anterior em é o anterior de Haldane, que nem sempre leva a posteriores adequados.

β = 0

$\beta = 0$

α

$\alpha$

— cara

Para , é possível ver diretamente da sua equação a probabilidade de que a densidade posterior seja constante ao longo das combinações de parâmetros para as quais assume valores constantes. Portanto, o posterior é realmente impróprio e tem a forma de uma crista para . Basicamente, qualquer linha de regressão ajustada à resposta observada em ajustará os dados. Mas para , eu ficaria surpreso se o posterior não for adequado, exceto em casos degenerados como ou em casos de separação linear.

k = 1

$k=1$

p (α, β | y_{1}, x_{1})

$p(\alpha,\beta|y_1,x_1)$

α + β x_{i}

$\alpha + \beta x_i$

k = 1

$k=1$

x_{1}

$x_1$

k > 1

$k>1$

x_{1} = x_{2}

$x_1=x_2$

— Jarle Tufto 6/02/19

@ Xi'an é aí que as s veio

- 1

$-1$

— Taylor

A explicação de @JarleTufto é completamente clara: a distribuição de depende apenas de , portanto, não pode trazer informações sobre e . Daí uma posterior imprópria. Também há um problema para mais observações se todos os forem todos iguais a ou todos iguais a .

Y

$Y$

α + β x

$\alpha+\beta x$

α

$\alpha$

β

$\beta$

y_{i}

$y_i$

0

$0$

n

$n$

— Xian

Respostas:

Para , é possível ver diretamente da sua equação a probabilidade de que a densidade posterior seja constante ao longo de linhas paralelas nas quais assume valores constantes. Portanto, o posterior é realmente impróprio e tem a forma de uma crista para . Basicamente, qualquer linha de regressão adequada à resposta observada em sairá igualmente bem. $𝑘=1$ $𝑝(𝛼,𝛽|𝑦_1,𝑥_1)$ $𝛼+𝛽𝑥_𝑖$ $𝑘=1$ $𝑥_1$

Em seguida, suponha que temos observações. Considere a reparameterização dada por Como essa é uma transformação linear de com um determinante constante do anterior para também é uniforme sobre , desde que . Considere a reparameterização adicional, a transformação inversa do logit para . Claramente, também são a priori independentes, com densidades dadas por $k=2$

\begin{aligned} η_{1} & = α + β x_{1} \\ η_{2} & = α + β x_{2} \end{aligned}

$\begin{align} \eta_1 &= \alpha + \beta x_1 \\ \eta_2 &= \alpha + \beta x_2 \end{align}$

α, β

$\alpha,\beta$

η_{1}, η_{2}

$\eta_1,\eta_2$

R^{2}

$\mathbb{R}^2$

x_{1} \neq x_{2}

$x_1\neq x_2$

\begin{aligned} p_{i} = \frac{1}{1 + e^{- η_{i}}}, \end{aligned}

$\begin{align} p_i = \frac1{1+e^{-\eta_i}}, \end{align}$

i = 1, 2

$i=1,2$

p_{1}, p_{2}

$p_1,p_2$

π (p_{i}) = π (η_{i}) | \frac{d η_{i}}{d p_{i}} | \propto \frac{d}{d p_{i}} \ln \frac{p_{i}}{1 - p_{i}} = \frac{1}{(1 - p_{i}) p_{i}}

$\pi(p_i)=\pi(\eta_i)\Big|\frac{d\eta_i}{dp_i}\Big|\propto \frac d{dp_i}\ln\frac{p_i}{1-p_i} = \frac1{(1-p_i)p_i}$ Estes são chamados de anteriores inadequados de Haldane , que podem ser interpretados como uma certa forma de limite da densidade de uma distribuição Beta, com ambos os parâmetros próximos de zero. Condicional nos dados , desde que , a densidade marginal posterior de cada seja distribuições Beta apropriadas com os parâmetros . Retrotransformando, as distribuições posteriores de e também devem ser adequadas. Isso ocorre, exceto em casos especiais, como um

y_{1}, y_{2}

$y_1,y_2$

0 < y_{i} < n

$0<y_i<n$

p_{i}

$p_i$

y_{i}, n - y_{i}

$y_i,n-y_i$

(η_{1}, η_{2})

$(\eta_1,\eta_2)$

(α, β)

$(\alpha,\beta)$

y_{i}

$y_i$ assumindo um valor de 0 ou nesse caso, a função beta normalizante é infinita e a parte posterior de (e, portanto, a parte posterior de e ) é inadequada.

n

$n$

B (y_{i}, n - y_{i})

$B(y_i,n-y_i)$

p_{i}

$p_i$

α

$\alpha$

β

$\beta$

Para observações , a posterior também deve ser adequada, pois a densidade posterior não normalizada de é limitada pela posterior com base nas primeiras observações . $k>2$ $\alpha,\beta$ $k=2$

— Jarle Tufto
fonte

Não tenho certeza de que nossas duas respostas estejam em desacordo matematicamente. Estou dizendo que a integral é infinita quando cada , e você está dizendo que a integral é finita sempre que todo estiver estritamente entre os pontos finais. Além disso, isso pode ser algo que depende de quem você pergunta, mas fiquei com a impressão de que, se um posterior não for adequado para todos os pontos de dados possíveis, ele será definido como "impróprio". O prior de Haldane é um exemplo em que isso acontece.

y_{i} = n

$y_i=n$

y_{i}

$y_i$

— Taylor

Mas suas desigualdades dizem que a integral do posterior não normalizado (para qualquer ) (o lado esquerdo da primeira desigualdade) é infinita, portanto há um desacordo. Não tenho certeza, mas o último passo que combina as duas integrais parece envolver não apenas o que você definiu como e mas também etc. etc. esse é o erro.

y_{i}

$y_i$

s_{1}

$s_1$

s_{2}

$s_2$

invlogit (α + β x_{(n)})

$\mbox{invlogit}(\alpha + \beta x_{(n)})$

— Jarle Tufto 14/02/19

sim, você está certo. Os integrandos são diferentes nesses dois lugares, portanto você não pode combiná-los.

— Taylor

Infelizmente, isso assume que é o caso mais comum.

n > 1

$n>1$

— 21419 Taylor

É impróprio, eu acredito. Eu só preciso provar que Denotar função Agora que é uma função monotonicamente crescente, quando , temos

\int_{α \in R β > 0} p (y ∣ α, β, x) = + \infty .

$\int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) = +\infty.$

σ = i n v l o g i t

$\sigma = \mathrm{invlogit}$

σ

$\sigma$

β > 0

$\beta > 0$

σ (α + β x_{i}) > σ (α - β max | x_{i} |) > 0,

$\mathrm{\sigma}(\alpha + \beta x_i) > \mathrm{\sigma}(\alpha - \beta \max |x_i|) > 0,$

1 - σ (α + β x_{i}) > 1 - σ (α + β max | x_{i} |) > 0.

$1 - \mathrm{\sigma}(\alpha + \beta x_i) > 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) > 0.$

Assim, a integral

\begin{aligned} \int_{α \in R β > 0} p (y ∣ α, β, x) > & \int_{α \in R β > 0} \prod {[σ (α - β max | x_{i} |)]}^{y_{i}} {[1 - σ (α + β max | x_{i} |)]}^{n_{i} - y_{i}} \\ > & \int_{α \in R β > 0} \prod {[σ (α - β max | x_{i} |)]}^{max n_{i}} {[1 - σ (α + β max | x_{i} |)]}^{max n_{i}} \\ > & \int_{α \in R β > 0} {[σ (α - β max | x_{i} |)]}^{k max n_{i}} {[1 - σ (α + β max | x_{i} |)]}^{k max n_{i}} \end{aligned}

$\begin{aligned} \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \prod \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{y_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{n_i - y_i} \\ >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \prod \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{\max n_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{\max n_i} \\ >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{k\max n_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{k\max n_i} \\ \end{aligned}$

São necessárias mais propriedades sobre : $\sigma$

{(σ (x))}^{N} = \frac{1}{(1 + e^{- x})^{N}} > \frac{1}{2^{N} (max {1, e^{- x}})^{N}} = \frac{1}{2^{N} (max {1, e^{- N x}})} > \frac{1}{2^{N}} σ (N x)

$\left( \sigma(x) \right)^N = \frac{1}{(1+e^{-x})^N} > \dfrac{1}{2^N (\max\{1,e^{-x}\}) ^N} = \dfrac{1}{2^N (\max\{1,e^{-Nx}\})} > \dfrac{1}{2^N}\sigma(Nx)$

Seja, , em seguida, $\xi = \alpha - \beta \max |x_i|$ $\eta = \alpha + \beta \max |x_i|, N=k\max n_i$

\begin{aligned} \int_{α \in R β > 0} p (y ∣ α, β, x) > & \int_{α \in R β > 0} {[σ (α - β max | x_{i} |)]}^{N} {[1 - σ (α + β max | x_{i} |)]}^{N} \\ \propto & \int_{- \infty < ξ < η < + \infty} {[σ (ξ)]}^{N} {[σ (- η)]}^{N} \\ > & \frac{1}{2^{2 N}} \int_{ξ}^{+ \infty} (\int_{- \infty}^{+ \infty} σ (N ξ) d ξ) σ (- N η) d η \\ = & + \infty \end{aligned}

$\begin{aligned} \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{N} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{N} \\ \propto& \int\limits_{-\infty < \xi < \eta < +\infty} \left[ \mathrm{\sigma}(\xi) \right]^{N} \left[ \mathrm{\sigma}(-\eta) \right]^{N}\\ >& \frac{1}{2^{2N}}\int\limits_{\xi}^{+\infty} \Big( \int\limits_{-\infty}^{+\infty} \mathrm{\sigma}(N\xi) \mathrm{d}\xi \Big) ~ \mathrm{\sigma}(- N\eta) \mathrm{d}\eta \\ =& +\infty \end{aligned}$

— Silly Song
fonte

Eu fiz uma edição. Espero que esteja certo.

— Silly Song

No segundo último passo, acho que os limites da integral dupla estão errados. Em vez disso, recebo Usando o Maple, acho que essa integral dupla é finita e é igual a . Então, tudo o que você pode dizer com base em sua derivação é que a constante de normalização da parte posterior de é maior que algo finito.

\begin{aligned} \int_{- \infty}^{\infty} σ (- N η) \int_{- \infty}^{η} σ (N ξ) d ξ d η \end{aligned}

$\begin{align} \int_{-\infty}^\infty\sigma(-N\eta)\int_{-\infty}^\eta\sigma(N\xi) d\xi d\eta \end{align}$

π / (6 N^{2})

$\pi/(6N^2)$

α, β

$\alpha,\beta$

— Jarle Tufto 01/03/19

Eu já aceitei uma resposta, mas queria ressaltar que o posterior não é adequado para todos os conjuntos de dados possíveis. O posterior é proporcional à probabilidade, que é Se , isso simplifica para

\prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{y_{i}} [1 - invlogit (α + β x_{i})]^{n - y_{i}} .

$\prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^{y_i}[1-\text{invlogit}(\alpha + \beta x_i)]^{n-y_i}.$

y_{1} = y_{2} = \dots = y_{k} = n

$y_1 = y_2 = \cdots = y_k = n$

\prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n},

$\prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n,$

e podemos ver que

\begin{aligned} \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} [invlogit (α + β x_{(1)})]^{n k} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} [invlogit (r_{1})]^{n k} d r_{1} d r_{2} \\ = \infty . \end{aligned}

$\begin{align*} &\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n \text{d}\alpha \text{d}\beta\\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n \text{d}\alpha \text{d}\beta \\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} [\text{invlogit}(\alpha + \beta x_{(1)})]^{nk} \text{d}\alpha \text{d}\beta \\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} [\text{invlogit}(r_1)]^{nk} \text{d}r_1 \text{d}r_2 \\ &= \infty. \end{align*}$

— Taylor
fonte