A distribuição beta tem um conjugado antes?

34

Eu sei que a distribuição beta é conjugada ao binômio. Mas qual é o conjugado anterior ao beta? Obrigado.

beta-distribution conjugate-prior

— Equilíbrio Brash
fonte

25

Parece que você já desistiu da conjugação. Só para constar, uma coisa que eu vi pessoas fazendo (mas não me lembro exatamente onde, desculpe) é uma reparameterização como essa. Se forem condicionalmente iid, dados , de modo que , lembre-se de e Portanto, você pode reparameterizar a probabilidade em termos de e e usar como $X_1,\dots,X_n$ $\alpha,\beta$ $X_i\mid\alpha,\beta\sim\mathrm{Beta}(\alpha,\beta)$

E [X_{Eu} ∣ α, β] = \frac{α}{α + β} =: μ

$\mathbb{E}[X_i\mid\alpha,\beta]=\frac{\alpha}{\alpha+\beta} =: \mu$

V uma r [X_{Eu} ∣ α, β] = \frac{α β}{(α + β)^{2} (α + β + 1 1)} =: σ^{2} .

$\mathbb{Var}[X_i\mid\alpha,\beta] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} =: \sigma^2 \, .$

μ

$\mu$

σ^{2}

$\sigma^2$

σ^{2} ∣ μ \sim você [0 0, μ (1 1 - μ)] μ \sim você [0 0, 1 1] .

$\sigma^2\mid\mu \sim \mathrm{U}[0,\mu(1-\mu)] \qquad \qquad \mu\sim\mathrm{U}[0,1] \, .$ Agora você está pronto para calcular o posterior e explorá-lo pelo seu método computacional favorito.

— zen
fonte

4

Não, não MCMC essa coisa! Quadratura essa coisa! apenas 2 parâmetros - a quadratura é o "padrão ouro" para posteriores dimensionais menores, tanto em termos de tempo quanto de precisão.

— probabilityislogic

3

Outra opção é considerar

como uma medida de precisão e, novamente, usar

ψ = α + β

$\psi = \alpha + \beta$

como a média. Isso é feito o tempo todo com os processos Dirichlet, e a distribuição beta é um caso especial. Então, talvez atire uma gama ou log-normal antes em

e uniforme em

.

μ = \frac{α}{α + β}

$\mu = \frac{\alpha}{\alpha + \beta}$

ψ

$\psi$

μ

$\mu$

— cara

2

Para ter certeza, isso não é conjugado, correto?

— cara

3

Definitivamente não!

— Zen

Oi @ Zen, estou lidando com esse problema agora, mas sou novo na Bayesian e não tenho certeza se estou entendendo a idéia. Eu descobri que você está propondo encontrar

e depois uso reparametrização, mas é claro que não foi a idéia que você pode me ajudar a entender.?

\int_{0}^{1} \frac{1}{μ (1 - μ} d μ

$\int_{0}^{1}{\frac{1}{\mu(1-\mu}}d\mu$

— Red Noise

23

Sim, ele tem um conjugado anterior na família exponencial. Considere a família de três parâmetros Para alguns valores deisso é integrável, embora eu ainda não tenha descoberto qual (acredito queedeve funcionar -corresponde a distribuições exponenciais independentes, portanto que definitivamente funciona, e a atualização conjunta envolve incrementar

π (α, β ∣ uma, b, p) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (uma α + b β) .

$\pi(\alpha, \beta \mid a, b, p) \propto \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right).$

(a, b, p)

$(a, b, p)$

p \geq 0

$p \ge 0$

a < 0, b < 0

$a < 0, b < 0$

p = 0

$p = 0$

então isso sugere que

funciona).

p

$p$

p > 0

$p > 0$

O problema, e pelo menos parte da razão pela qual ninguém o usa, é que ou seja, a constante de normalização não tem uma forma encoberta.

\int_{0 0}^{\infty} \int_{0 0}^{\infty} {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (uma α + b β) = ?

$\int_0^\infty \int_0^\infty \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right) = ?$

— cara
fonte

Ah Isso é problemático. Eu procuraria uma versão não informativa do conjugado antes de qualquer maneira, então parece que eu poderia começar com anteriores uniformes sobre os dois parâmetros. Obrigado.

— Equilíbrio Brash

Você não precisa normalizá-lo se estiver apenas comparando verossimilhanças…

— Neil G

Eu acho que você pode estar perdendo a ação de

no seu termo

também. Provavelmente deve ser

, etc.

p

$p$

\exp

$\exp$

p a α

$pa\alpha$

— Neil G

@ NeilG

está na

, você só precisa expressar as coisas em termos de

vez de

. Fazer

é apenas uma reparmetrização, nada muda. Não sabe ao certo o que você quer dizer "apenas comparando probabilidades". Você não pode implementar um amostrador de Gibbs com este antes sem usar algo como Metropolis, que mata a vantagem de conjugação condicional, a constante de normalização depende de

e

que mata colocar uma prévia sobre eles ou estimando-las por métodos de probabilidade, etc .. .

p

$p$

\exp

$\exp$

\log Γ (\dots)

$\log \Gamma(\cdots)$

Γ (\dots)

$\Gamma(\cdots)$

p a α

$pa\alpha$

a

$a$

b

$b$

— cara

2

A integral do @NeilG está acima de

e

pois essas são as variáveis aleatórias.

α

$\alpha$

β

$\beta$

— cara

9

Em teoria , deve haver um conjugado antes da distribuição beta. Isto é porque

a distribuição beta é uma das distribuições familiares exponenciais e
em teoria, deve ser possível derivar um prior. Veja, por exemplo, wikipedia , a palestra de D Blei sobre famílias exponenciais .

Contudo, a derivação parece difícil, e para citar Famílias Exponenciais e Priores Conjugados de A Bouchard-Cote

Uma observação importante a ser feita é que essa receita nem sempre produz um conjugado anterior que é computacionalmente tratável.

Consistente com isso, não há prévia para a distribuição Beta no A Compendium of Conjugate Priors de D Fink .

— TooTone
fonte

3

A derivação não é difícil - Veja a minha resposta: mathoverflow.net/questions/63496/...

— Neil G

3

Não acredito que exista uma distribuição "padrão" (isto é, família exponencial) que seja o conjugado anterior à distribuição beta. No entanto, se existir, teria que ser uma distribuição bivariada.

Eu não tenho nenhuma idéia sobre esta questão, mas eu encontrei este prático mapa conjugado antes que parece apoiar a sua resposta: johndcook.com/conjugate_prior_diagram.html

— Justin Bozonier

O conjugado anterior está na família exponencial e tem três parâmetros - não dois.

— Neil G

11

@ Neil, você está definitivamente certo. Acho que deveria ter dito que teria que ter pelo menos dois parâmetros.

-1: esta resposta é claramente errado na afirmação de que "conjugado antes não existe na família exponencial", como é demonstrado na resposta acima ...

— Jan KUKACKA

3

Robert e Casella (RC) descrevem a família de conjugados anteriores da distribuição beta no Exemplo 3.6 (p. 71 - 75) de seu livro Introducing Monte Carlo Methods in R , Springer, 2010. No entanto, eles citam o resultado sem citar uma fonte.

Adicionado em resposta à solicitação de detalhes do gung. RC declara que, para a distribuição , o conjugado anterior é "... da forma $B(\alpha, \beta)$

π (α, β) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} x_{0 0}^{α} y_{0 0}^{β}

$\pi(\alpha,\beta) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} x_0^{\alpha} y_0^{\beta}$

onde são hiperparâmetros, uma vez que o posterior é igual a $\{\lambda, x_0, y_0\}$

π (α, β | x) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} (x x_{0 0})^{α} ((1 1 - x) y_{0 0})^{β} . "

$\pi(\alpha,\beta \vert x) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} (xx_0)^{\alpha} ((1-x)y_0)^{\beta}."$

O restante do exemplo diz respeito à amostragem de importância de para calcular a probabilidade marginal de . $\pi(\alpha,\beta \vert x)$ $x$

— user37239
fonte

2

Eu não tenho o livro de Robert disponível, mas o posterior é

. Robert também postou neste tópico aquimathoverflow.net/questions/20399/…

π (α, β) \propto {(\frac{Γ (α + β)}{Γ (α) Γ (β)})}^{λ + 1} (x x_{0})^{α - 1} {(y_{0} (1 - x))}^{β - 1}

$\pi(\alpha, \beta) \propto \left( \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \right)^{\lambda +1} (x x_0)^{\alpha-1} \left(y_0 (1-x) \right)^{\beta-1}$

— Fred Schoen

11

Recomendo humildemente que o pôster original atualize o post para indicar que o posterior fornecido no livro está incorreto, de acordo com o comentário de Fred Schoen (que é facilmente verificado).

— RMurphy