Probabilidade versus distribuição condicional para análise bayesiana

Podemos escrever o teorema de Bayes como

p (θ | x) = \frac{f (X | θ) p (θ)}{\int_{θ} f (X | θ) p (θ) d θ}

$p(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta}$

onde é o posterior, é a distribuição condicional e é o anterior. $p(\theta|x)$ $f(X|\theta)$ $p(\theta)$

p (θ | x) = \frac{L (θ | x) p (θ)}{\int_{θ} L (θ | x) p (θ) d θ}

$p(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta}$

onde é o posterior, é a função de probabilidade e é o anterior. $p(\theta|x)$ $L(\theta|x)$ $p(\theta)$

Minha pergunta é

Por que a análise bayesiana é feita usando a função de probabilidade e não a distribuição condicional?
Você pode dizer em palavras qual é a diferença entre a probabilidade e a distribuição condicional? Eu sei que a probabilidade não é uma distribuição de probabilidade e . $L(\theta|x) \propto f(X|\theta)$

bayesian likelihood

— kzoo
fonte

Não há diferença! A probabilidade é a distribuição condicional , bem, é proporcional a, que é tudo o que importa.

f (X | θ)

$f(X | \theta)$

— Kjetil b halvorsen

O parâmetro anterior possui densidade . se a realização de tem valor enquanto é o valor observado de uma variável aleatória , então o valor da função de probabilidade é precisamente , o valor da densidade condicional de . A diferença é que para todas as realizações de . No entanto, em função de

Θ

$\Theta$

p_{Θ} (θ)

$p_\Theta(\theta)$

Θ

$\Theta$

θ

$\theta$

x

$x$

X

$X$

L (θ ∣ x)

$L(\theta\mid x)$

f (x ∣ θ)

$f(x\mid \theta)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{X\mid\Theta}(x\mid\Theta=\theta)$

X

$X$

\int_{- \infty}^{\infty} f_{X ∣ Θ} (x ∣ Θ = θ) d x = 1

$\int_{-\infty}^{\infty}f_{X\mid\Theta}(x\mid\Theta=\theta)dx=1$

Θ

$\Theta$

θ

$\theta$ (e fixo ), não é uma densidade:

x

$x$

L (θ ∣ x)

$L(\theta\mid x)$

\int L (θ ∣ x) d θ \neq 1

$\int L(\theta\mid x)d\theta\neq 1$

— Dilip Sarwate

Respostas:

Suponha que você tenha variáveis aleatórias (cujos valores serão observados em seu experimento) que são condicionalmente independentes, considerando que , com densidades condicionais , para . Este é o seu modelo estatístico (postulado) estatístico (condicional) e as densidades condicionais expressam, para cada valor possível do parâmetro (aleatório) , sua incerteza sobre os valores dos 's antes de você ter acesso a qualquer dados reais. Com a ajuda das densidades condicionais, você pode, por exemplo, calcular probabilidades condicionais como $X_1,\dots,X_n$ $\Theta=\theta$ $f_{X_i\mid\Theta}(\,\cdot\mid\theta)$ $i=1,\dots,n$ $\theta$ $\Theta$ $X_i$

P {X_{1} \in B_{1}, \dots, X_{n} \in B_{n} ∣ Θ = θ} = \int_{B_{1} \times \dots \times B_{n}} \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) d x_{1} \dots d x_{n},

$P\{X_1\in B_1,\dots,X_n\in B_n\mid \Theta=\theta\} = \int_{B_1\times\dots\times B_n} \prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta)\,dx_1\dots dx_n \, ,$ para cada .

θ

$\theta$

Depois de ter acesso a uma amostra real de valores (realizações) dos que foram observados em uma execução de seu experimento, a situação muda: não há mais incerteza sobre os observáveis . Suponha que o aleatório assuma valores em algum espaço de parâmetro . Agora, você define, para os valores conhecidos (fixos) uma função por Observe que , conhecida como "função de verossimilhança", é uma função de $(x_1,\dots,x_n)$ $X_i$ $X_1,\dots,X_n$ $\Theta$ $\Pi$ $(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}} : Π \to R

$L_{x_1,\dots,x_n} : \Pi \to \mathbb{R} \,$

L_{x_{1}, \dots, x_{n}} (θ) = \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) .

$L_{x_1,\dots,x_n}(\theta)=\prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta) \, .$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

θ

$\theta$ . Nesta situação "depois de ter dados", a probabilidade contém, para o modelo condicional específico que estamos considerando, todas as informações sobre o parâmetro contido nesta amostra específica . De fato, acontece que é uma estatística suficiente para .

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

Respondendo à sua pergunta, para entender as diferenças entre os conceitos de densidade condicional e probabilidade, lembre-se de suas definições matemáticas (que são claramente diferentes: são objetos matemáticos diferentes, com propriedades diferentes) e lembre-se de que a densidade condicional é um "pré" -sample "objeto / conceito, enquanto a probabilidade é" after-sample ". Espero que tudo isso também ajude você a responder por que a inferência bayesiana (usando sua maneira de colocá-la, o que eu não acho ideal) é feita "usando a função de probabilidade e não a distribuição condicional": o objetivo da inferência bayesiana é para calcular a distribuição posterior e, para isso, condicionamos os dados observados (conhecidos).

— zen
fonte

Eu acho que o Zen está correto quando ele diz que a probabilidade e a probabilidade condicional são diferentes. Na função de verossimilhança θ não é uma variável aleatória, portanto é diferente da probabilidade condicional.

— Martine

Proporcionalidade é usada para simplificar a análise

A análise bayesiana é geralmente feita através de uma afirmação ainda mais simples do teorema de Bayes, onde trabalhamos apenas em termos de proporcionalidade em relação ao parâmetro de interesse. Para um modelo IID padrão com densidade de amostragem , podemos expressar isso como: $f(X|\theta)$

p (θ | x) \propto L_{x} (θ) \cdot p (θ) L_{x} (θ) \propto \prod_{i = 1}^{n} f (x_{i} | θ) .

$p(\theta|\mathbf{x}) \propto L_\mathbf{x}(\theta) \cdot p(\theta) \quad \quad \quad \quad L_\mathbf{x}(\theta) \propto \prod_{i=1}^n f(x_i|\theta).$

Esta declaração de atualização bayesiana funciona em termos de proporcionalidade em relação ao parâmetro . Utiliza duas simplificações de proporcionalidade: uma no uso da função de verossimilhança (proporcional à densidade de amostragem) e outra na posterior (proporcional ao produto de verossimilhança e anterior). Como a posterior é uma função de densidade (no caso contínuo), a regra normativa define a constante multiplicativa necessária para produzir uma densidade válida (ou seja, para integrá-la a uma). $\theta$

Esse método de uso da proporcionalidade tem a vantagem de nos permitir ignorar quaisquer elementos multiplicativos das funções que não dependem do parâmetro . Isso tende a simplificar o problema, permitindo-nos varrer partes desnecessárias da matemática e obter instruções mais simples do mecanismo de atualização. Este não é um requisito matemático (já que a regra de Bayes também funciona em sua forma não proporcional), mas simplifica as coisas para nossos minúsculos cérebros animais. $\theta$

Um exemplo aplicado: considere um modelo de IID com dados observados . Para facilitar nossa análise, definimos as estatísticas e , que são os dois primeiros momentos de amostra. Para este modelo, temos densidade de amostragem: $X_1, ..., X_n \sim \text{IID N}(\theta, 1)$ $\bar{x} = \tfrac{1}{n} \sum_{i=1}^n x_i$ $\bar{\bar{x}} = \tfrac{1}{n} \sum_{i=1}^n x_i^2$

\begin{aligned} f (x | θ) = \prod_{i = 1}^{n} f (x_{i} | θ) & = \prod_{i = 1}^{n} N (x_{i} | θ, 1) \\ = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} (x_{i} - θ)^{2}) \\ = (2 π)^{n / 2} \exp (- \frac{1}{2} \sum_{i = 1}^{n} (x_{i} - θ)^{2}) . \\ = (2 π)^{n / 2} \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ + \bar{\bar{x}})) \\ = (2 π)^{n / 2} \exp (- \frac{n \bar{\bar{x}}}{2}) \cdot \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \end{aligned}

$\begin{equation} \begin{aligned} f(\mathbf{x}|\theta) = \prod_{i=1}^n f(x_i|\theta) &= \prod_{i=1}^n \text{N}(x_i|\theta,1) \\[6pt] &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi}} \exp \Big( -\frac{1}{2} (x_i-\theta)^2 \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{1}{2} \sum_{i=1}^n (x_i-\theta)^2 \Big). \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta + \bar{\bar{x}} ) \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n \bar{\bar{x}}}{2} \Big) \cdot \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \\[6pt] \end{aligned} \end{equation}$

Agora, podemos trabalhar diretamente com essa densidade de amostragem, se quisermos. Mas observe que os dois primeiros termos dessa densidade são constantes multiplicativas que não dependem de . É chato ter que acompanhar esses termos, então vamos nos livrar deles, para que tenhamos a função de probabilidade: $\theta$

L_{x} (θ) = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) .

$L_\mathbf{x}(\theta) = \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big).$

Isso simplifica um pouco as coisas, já que não precisamos acompanhar um termo adicional. Agora, poderíamos aplicar a regra de Bayes usando sua versão completa da equação, incluindo o denominador integral. Mas, novamente, isso exige que controlemos outra constante multiplicativa irritante que não depende de (mais irritante porque precisamos resolver uma integral para obtê-la). Então, vamos aplicar a regra de Bayes em sua forma proporcional. Usando o conjugado anterior , com algum parâmetro de precisão conhecido , obtemos o seguinte resultado ( preenchendo o quadrado ): $\theta$ $\theta \sim \text{N}(0,\lambda_0)$ $\lambda_0>0$

\begin{aligned} p (θ | x) & \propto L_{x} (θ) \cdot p (θ) \\ = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot N (θ | 0, λ_{0}) \\ \propto \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot \exp (- \frac{λ_{0}}{2} θ^{2}) \\ = \exp (- \frac{1}{2} (n θ^{2} - 2 n \bar{x} θ + λ_{0} θ^{2})) \\ = \exp (- \frac{1}{2} ((n + λ_{0}) θ^{2} - 2 n \bar{x} θ)) \\ = \exp (- \frac{n + λ_{0}}{2} (θ^{2} - 2 \frac{n \bar{x}}{n + λ_{0}} θ)) \\ \propto \exp (- \frac{n + λ_{0}}{2} (θ - \frac{n}{n + λ_{0}} \cdot \bar{x})^{2}) \\ \propto N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) . \end{aligned}

$\begin{equation} \begin{aligned} p(\theta|\mathbf{x}) &\propto L_\mathbf{x}(\theta) \cdot p(\theta) \\[10pt] &= \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \text{N}(\theta|0,\lambda_0) \\[6pt] &\propto \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \exp \Big( -\frac{\lambda_0}{2} \theta^2 \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( n\theta^2 - 2n\bar{x} \theta + \lambda_0 \theta^2 ) \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( (n+\lambda_0) \theta^2 - 2n\bar{x} \theta ) \Big) \\[6pt] &= \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta^2 - 2 \frac{n\bar{x}}{n+\lambda_0} \theta \Big) \Big) \\[6pt] &\propto \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta - \frac{n}{n+\lambda_0} \cdot \bar{x} \Big)^2 \Big) \\[6pt] &\propto \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big). \\[6pt] \end{aligned} \end{equation}$

Assim, a partir deste trabalho, podemos ver que a distribuição posterior é proporcional a uma densidade normal. Como o posterior deve ser uma densidade, isso implica que o posterior é a densidade normal:

p (θ | x) = N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) .

$p(\theta|\mathbf{x}) = \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big).$

Portanto, vemos que a posteriori o parâmetro é normalmente distribuído com a média e a variação posteriores dadas por: $\theta$

E (θ | x) = \frac{n}{n + λ_{0}} \cdot \bar{x} V (θ | x) = \frac{1}{n + λ_{0}} .

$\mathbb{E}(\theta|\mathbf{x}) = \frac{n}{n+\lambda_0} \cdot \bar{x} \quad \quad \quad \quad \mathbb{V}(\theta|\mathbf{x}) = \frac{1}{n+\lambda_0}.$

Agora, a distribuição posterior que derivamos tem uma constante de integração na sua frente (o que podemos encontrar facilmente observando a forma da distribuição normal ). Mas observe que não precisamos nos preocupar com essa constante multiplicativa - todo o nosso trabalho removeu (ou trouxe) constantes multiplicativas sempre que isso simplificou a matemática. O mesmo resultado pode ser obtido mantendo o controle das constantes multiplicativas, mas isso é muito mais confuso.

— Ben - Restabelecer Monica
fonte

Acho que a resposta do Zen realmente mostra como conceitualmente a função de probabilidade e a densidade conjunta dos valores das variáveis aleatórias diferem. Ainda matematicamente como uma função de x θ eles são os mesmos e, nesse sentido, a probabilidade pode ser vista como uma densidade de probabilidade. A diferença que você aponta na fórmula para a distribuição posterior de Bayes é apenas uma diferença notacional. Mas a sutileza da diferença é bem explicada na resposta de Zen. $_i$

Esse problema surgiu em outras questões discutidas neste site sobre a função de probabilidade. Também outros comentários de kjetil e Dilip parecem apoiar o que estou dizendo.

— Michael R. Chernick
fonte