Por que não usar o teorema de Bayes na forma ?

Existem muitas perguntas (como esta ) sobre alguma ambiguidade com a fórmula bayesiana em caso contínuo.

p (θ | x) = \frac{p (x | θ) \cdot p (θ)}{p (x)}

$p(\theta | x) = \frac{p(x | \theta) \cdot p(\theta)}{p(x)}$

Muitas vezes, a confusão surge do fato de que a definição da distribuição condicional $f(variable | parameter)$ é explicada como $f$ sendo função da $variable$ dado um $parameter$ fixo .

Além disso, existe um princípio de equivalência declarando que a probabilidade pode ser escrita como:

L (θ | x) = p (x | θ)

$L(\theta | x) = p(x | \theta)$

Então, por que não usar a regra de Bayes para distribuições da seguinte forma:

p (θ | x) = \frac{L (θ | x) \cdot p (θ)}{p (x)}

$p(\theta | x) = \frac{L(\theta | x) \cdot p(\theta)}{p(x)}$

enfatizar que estamos lidando com funções de $\theta$ dados observados $x$ , e que o respectivo termo é de probabilidade (pelo menos, começando com $L$ )?

Isso é uma questão de tradição ou há algo mais fundamental nessa prática?

— muito
fonte

Qual é o significado de ? Eu sei disso como uma probabilidade. Mas, no caso contínuo, não vejo de que probabilidade você está falando.

p (\cdot)

$p(\cdot)$

— Sextus Empiricus

@MartijnWeterings, funções devem ser distribuições de probabilidade válidas em todos os casos, exceto quando houver "probabilidade" da forma . Estou esquecendo de algo?

p (\cdot)

$p(\cdot)$

p (x | θ)

$p(x|\theta)$

— IOT

O que você quer dizer com distribuição de probabilidade? Acumulado, densidade, etc.?

— Sextus Empiricus

Pode ajudar a dar um passo atrás e perceber que não há "variáveis" no teorema de Bayes, pelo menos ao usar o termo. Existem pontos de dados e parâmetros de modelo. Nesse sentido, . Você invoca uma criatura do tipo posterior que chama de probabilidade. Mas não é. Então, eu não tenho certeza para onde você está indo com isso. E, em geral, que não faz sentido no caso em que e e nem têm o mesmo suporte.

P (m o d e l | d a t a) P (d a t a) = P (d a t a, m o d e l) = P (d a t a | m o d e l) P (m o d e l)

$P(model|data)P(data) = P(data,model)=P(data|model)P(model)$

P (m o d e l | d a t a)

$P(model|data)$

p (x | y) = p (y | x) ⟹ p (x) = p (y)

$p(x|y) = p(y|x) \implies p(x)=p(y)$

x = d a t a

$x=data$

y = m o d e l .

$y=model.$

x

$x$

y

$y$

— Peter Leopold

Verifique stats.stackexchange.com/a/224299/35989

— Tim

Respostas:

Existem dois resultados básicos de probabilidade que estão em ação no teorema de Bayes. Uma é uma maneira de reescrever uma função de densidade de probabilidade conjunta :

p (x, y) = p (x | y) p (y) .

$p(x,\,y)=p(x\,|\,y)p(y).$

A outra é uma fórmula para calcular uma função de densidade de probabilidade condicional :

p (y | x) = \frac{p (x, y)}{p (x)} .

$p(y\,|\,x)=\frac{p(x,\,y)}{p(x)}.$

O teorema de Bayes apenas une essas duas coisas:

p (θ | x) = \frac{p (x, θ)}{p (x)} = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta\,|\,x)=\frac{p(x,\,\theta)}{p(x)}=\frac{p(x\,|\,\theta)p(\theta)}{p(x)}$

Portanto, os dados e os parâmetros são variáveis aleatórias com pdf em conjunto $x$ $\theta$

p (x, θ) = p (x | θ) p (θ),

$p(x,\,\theta)=p(x\,|\,\theta)p(\theta),$ e é isso que aparece no numerador no teorema de Bayes. Assim, escrever a probabilidade como uma densidade de probabilidade condicional em vez de como uma função dos parâmetros deixa clara a probabilidade básica em jogo.

L

$L$

Dito isso, você verá as pessoas usarem, como aqui ou aqui .

— jcz
fonte

@iot Nas estatísticas clássicas, você pode estimar os parâmetros encontrando o que maximiza como uma função de

θ

$\theta$

p (x | θ)

$p(x\,|\,\theta)$

θ

$\theta$ . Assim, as pessoas escreverão e tentarão calcular . Nesse caso, você não se importa com o "status" de como um pdf condicional sobre . Você se preocupa com seu status como uma função com valor real de que deseja maximizar em relação a . Portanto, a notação no estilo é uma reserva dessa configuração.

L (θ) = p (x | θ)

$L(\theta)=p(x\,|\,\theta)$

{\hat{θ}}_{M L E} = \arg max L (θ)

$\hat{\theta}_{MLE}={\arg\max}\,L(\theta)$

p (x | θ)

$p(x\,|\,\theta)$

x

$x$

θ

$\theta$

θ

$\theta$

L (\cdot)

$L(\cdot)$

— jcz

A função de probabilidade é meramente proporcional à densidade de amostragem, no sentido de que você tem para uma constante (embora você deva observar que a probabilidade é uma função do parâmetro, não dos dados). Se você quiser usar isso em sua expressão para o teorema de Bayes, precisará incluir a mesma constante de escala no denominador: $L_x(\theta) = k \cdot p(x|\theta)$ $k > 0$

p (θ | x) = \frac{L_{x} (θ) \cdot p (θ)}{k \cdot p (x)} = \frac{L_{x} (θ) \cdot p (θ)}{\int L_{x} (θ) \cdot p (θ) d θ} \propto L_{x} (θ) \cdot p (θ) .

$p(\theta|x) = \frac{L_x(\theta) \cdot p(\theta)}{k \cdot p(x)} = \frac{L_x(\theta) \cdot p(\theta)}{\int L_x(\theta) \cdot p(\theta) \ d \theta} \propto L_x(\theta) \cdot p(\theta).$

Se você usar a fórmula que você propôs, acabará com um núcleo da densidade posterior, mas ele poderá não se integrar a um (e, portanto, geralmente não é uma densidade).

— Ben - Restabelecer Monica
fonte

I como a sua resposta, mas na fórmula original com sendo fixo (contexto Bayesian) não faz também uma distribuição de probabilidade válida , e também é um fator de escala é igual a 1. Então, por que você acha que não é unidade em sua explicação?

p (x | θ)

$p(x|\theta)$

x

$x$

p (x)

$p(x)$

k

$k$

— Garej

Frequentemente, formulamos a função de probabilidade removendo partes multiplicativas que não dependem do parâmetro de interesse. Fazemos isso para simplificar a análise, evitando a necessidade de acompanhar uma constante de integração. Por exemplo, se , , removendo o coeficiente binomial na distribuição binomial. Nesse caso, temos , que geralmente não é igual a um.

p (x | θ) = Bin (x | n, θ)

$p(x|\theta) = \text{Bin}(x|n,\theta)$

L_{x} (θ) = θ^{x} (1 - θ)^{n - x}

$L_x(\theta) = \theta^x (1-\theta)^{n-x}$

k = (\binom{n}{x})

$k = {n \choose x}$

— Ben - Restabelece Monica

Portanto, o que você quer dizer é que existe uma convenção de que a probabilidade é geralmente livre de constantes desnecessárias e, portanto, a versão do iot pode ser um pouco enganadora para os estatísticos?

— garej

Embora essa seja realmente uma maneira convencional de definir a probabilidade, o ponto aqui é que a função de probabilidade é geralmente definida apenas até a proporcionalidade, portanto, não há garantia de que no trabalho acima.

k = 1

$k=1$

— Ben - Restabelece Monica

É a primeira vez que li que a probabilidade é proporcional a uma densidade. Para mim, isso é apenas um trecho e possivelmente errado. O problema está na terminologia sobreposta. Não devemos considerar uma densidade uma probabilidade, no governo de Bayes, mas continuamos fazendo isso.

— Nbro 12/11/19