Além da família exponencial, de onde mais podem vir os conjugados anteriores?

Não todos os priores conjugadas tem que vir da família exponencial? Caso contrário, que outras famílias são conhecidas por possuírem / produzirem conjugados anteriores?

bayesian conjugate-prior

— Josh
fonte

Como explicado, por exemplo, na Seção 3.3.3 do livro "A escolha bayesiana" de Christian Robert, existe de fato uma conexão estreita entre famílias exponenciais e anteriores conjugados, mas existem anteriores conjugados disponíveis para certas famílias não exponenciais. Ele chama isso de "quase exponencial", no entanto, porque são famílias para as quais existem estatísticas suficientes de dimensão finita que não aumentam com o tamanho da amostra.

Aqui está um exemplo para a distribuição uniforme, cujo suporte depende do parâmetro da distribuição e, portanto, não pode ser uma família exponencial (como é bem conhecido):

Aqui, a distribuição de Pareto é um conjugado anterior ao parâmetro da distribuição uniforme em . $b$ $[0,b]$

A densidade da distribuição de Pareto com os parâmetros e é para e pessoa. $c>0$ $% \alpha >0$

f (x) = α c^{α} x^{- α - 1}

$\begin{equation*} f(x)=\alpha c^{\alpha }x^{-\alpha -1} \end{equation*}$

x \geq c

$x\geq c$

f (x) = 0

$f(x)=0$

O anterior do parâmetro de uma distribuição uniforme em é uma distribuição de Pareto com e , A probabilidade dos dados , dados , é $b$ $[0,b]$ $c_{0}$ $\alpha _{0}$

\begin{array}{rcl} π (b) & = & {\begin{cases} α_{0} c_{0}^{α_{0}} b^{- α_{0} - 1} & if b \geq c_{0} \\ 0 & else. \end{cases} \\ \propto & {\begin{cases} b^{- α_{0} - 1} & if b \geq c_{0} \\ 0 & else. \end{cases} \end{array}

$\begin{eqnarray*} \pi (b) &=& \left\{ \begin{array}{ll} \alpha _{0}c_{0}^{\alpha _{0}}b ^{-\alpha _{0}-1} & \quad \text{if } b \geq c_{0} \\ 0 & \quad \text{else.}% \end{array} \right. \\ &\propto &\left\{ \begin{array}{ll} b ^{-\alpha _{0}-1} & \quad \text{if }b \geq c_{0} \\ 0 & \quad \text{else.}% \end{array}% \right. \end{eqnarray*}$

y_{1}, \dots, y_{n}

$y_{1},\ldots ,y_{n}$

b

$b$

f (y | b) = {\begin{cases} \prod_{i = 1}^{n} \frac{1}{b} = b^{- n} & if 0 \leq y_{i} \leq b for all i = 1, \dots, n \\ 0 & else. \end{cases}

$\begin{equation*} f\left( y |b\right) = \left\{ \begin{array}{ll} \prod_{i=1}^{n}\frac{1}{b }=b ^{-n} & \quad \text{if }0\leq y_{i}\leq b \text{ for all }i=1,\ldots ,n \\ 0 & \quad \text{else.}% \end{array}% \right. \end{equation*}$ O produto de probabilidade e anterior é o posterior não normalizado

\begin{array}{rcl} π (b | y) & \propto & π (b) f (y | b) \\ = & {\begin{cases} α_{0} c_{0}^{α_{0}} b^{- α_{0} - 1} b^{- n} & if b \geq c_{0} and 0 \leq y_{i} \leq b for all i = 1, \dots, n \\ 0 & else. \end{cases} \\ \propto & {\begin{cases} b^{- α_{0} - n - 1} & if b \geq c_{0} and 0 \leq y_{i} \leq b for all i = 1, \dots, n \\ 0 & else. \end{cases} \\ \propto & {\begin{cases} b^{- α_{1} - 1} & if b \geq c_{1} \\ 0 & else. \end{cases} \end{array}

$\begin{eqnarray*} \pi \left( b |y\right) &\propto &\pi (b )f\left( y |b\right) \\ &=&\left\{ \begin{array}{ll} \alpha _{0}c_{0}^{\alpha _{0}}b ^{-\alpha _{0}-1}b ^{-n} & \quad \text{if }b \geq c_{0}\text{ and }0\leq y_{i}\leq b \text{ for all }i=1,\ldots ,n \\ 0 & \quad \text{else.}% \end{array}% \right. \\ &\propto &\left\{ \begin{array}{ll} b ^{-\alpha _{0}-n-1} & \quad \text{if }b \geq c_{0}\text{ and }% 0\leq y_{i}\leq b \text{ for all }i=1,\ldots ,n \\ 0 & \quad \text{else.}% \end{array}% \right. \\ &\propto &\left\{ \begin{array}{ll} b ^{-\alpha _{1}-1} & \quad \text{if }b \geq c_{1} \\ 0 & \quad \text{else.}% \end{array}% \right. \end{eqnarray*}$ com

\begin{array}{rcl} α_{1} & = & α_{0} + n \\ c_{1} & = & max (max_{i} y_{i}, c_{0}) . \end{array}

$\begin{eqnarray*} \alpha _{1} &=&\alpha _{0}+n \\ c_{1} &=&\max\bigl(\max_{i}y_{i},c_0\bigr). \end{eqnarray*}$ Portanto, o posterior é distribuído por Pareto.

— Christoph Hanck
fonte

(+1) Então, se existe uma estatística suficiente de dimensão constante, existe um conjugado anterior?

— Scortchi - Restabelece Monica

Pergunta muito interessante - eu não sei! Minha resposta fornece apenas um exemplo de que pertencer a uma família exponencial não é uma condição necessária para a existência de um conjugado anterior. Eu ficaria muito interessado na resposta, então faça isso como uma pergunta separada!

— Christoph Hanck

Tenho a sensação de que deve ser assim para atualizar para o trabalho. Certamente farei uma pergunta se não encontrar uma resposta para o livro.

— Scortchi - Restabelece Monica

@ Scortchi: sim, de fato, porque se existe uma estatística suficiente de dimensão fixa , estamos em uma família exponencial, conforme estabelecido pelo lema Pitman-Koopman-Darmois .

— Xi'an

Isso não omite o qualificador: "entre todas as famílias cujo apoio não depende do parâmetro", veja também o exemplo acima?

— Christoph Hanck 12/03