Probabilidade vs. Probabilidade

Tenho dificuldades com as probabilidades . Eu entendo o Teorema de Bayes

p (A | B, H) = \frac{p (B | A, H) p (A | H)}{p (B | H)}

$p(A|B, \mathcal{H}) = \frac{p(B|A, \mathcal{H}) p(A|\mathcal{H})}{p(B|\mathcal{H})}$

que pode ser deduzido diretamente da aplicação de $p(A,B) = p(B) \cdot p(A|B) = p (A) p(B|A) = p(B,A)$ . Assim, na minha interpretação, $p(\cdot)$ funções no teorema de Bayes são de alguma forma todas as probabilidades, marginais ou condicionais. Então, na verdade, pensei que Probabilidade como conceito fosse mais uma visão freqüentista da probabilidade inversa.

No entanto, já vi repetidamente declarações nos livros dos bayesianistas que afirmam que a probabilidade não é uma distribuição de probabilidade. Lendo o livro de MacKay ontem, me deparei com a seguinte declaração

"[...] é importante observar que os termos probabilidade e probabilidade não são sinônimos. A quantidade $P(n_b|u,N)$ é uma função de $n_B$ e $u$ . Para fixo $u$ , $P(n_b|u,N)$ define uma probabilidade sobre $n_B$ , pois fixo $n_B$ , $P(n_B|u,N)$ define a semelhança de $u$ ".

Entendo o seguinte: $p(A|B)$ é uma probabilidade de $A$ sob dado $B$ , portanto, uma função $\text{probability} : \mathcal{A}\to [0,1]$ . Mas, considerando um dado valor $a \in A$ e avaliando a dependência de $p(A=a|B)$ em diferentes $b\in\mathcal{B}$ ', na verdade estamos usando uma função diferente $L : \mathcal{B}\to[0,1]$ .
Esta interpretação está correta?
Podemos então dizer que os métodos de máxima verossimilhança podem ser motivados pelo teorema bayesiano, onde o prior é escolhido para ser constante?

probability likelihood

— wirrbel
fonte

Como elemento de resposta, aconselho a resposta com os links de Stephane Laurent em mathoverflow.net/questions/10971/… . Espero que ajude.

— peuhp

Acho que talvez a melhor maneira de explicar a noção de probabilidade seja considerar um exemplo concreto. Suponhamos que temos uma amostra de observações IID desenhadas a partir de uma distribuição de Bernoulli com probabilidade desconhecido de sucesso : , , de modo que a função de massa de probabilidade conjunta da amostra é Essa expressão também caracteriza a probabilidade de $p$ $X_i \sim {\rm Bernoulli}(p)$ $i = 1, \ldots, n$

Pr [X = x ∣ p] = \prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} .

$\Pr[{\boldsymbol X} = \boldsymbol x \mid p] = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}.$

p

$p$ , considerando uma amostra observada : Mas se pensarmos em como uma variável aleatória, essa probabilidade não é uma densidade: É, no entanto, proporcional a uma densidade de probabilidade, razão pela qual dizemos que é provável que seja um valor específico, dada a amostra - representa, em certo sentido, a relativa plausibilidade de ser algum valor para as observações que fizemos.

x = (x_{1}, \dots, x_{n})

$\boldsymbol x = (x_1, \ldots, x_n)$

L (p ∣ x) = \prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} .

$L(p \mid \boldsymbol x) = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}.$

p

$p$

\int_{p = 0}^{1} L (p ∣ x) d p \neq 1.

$\int_{p=0}^1 L(p \mid \boldsymbol x) \, dp \ne 1.$

p

$p$

p

$p$

Por exemplo, suponha que e a amostra seja . Intuitivamente, concluiríamos que é mais provável que seja mais próximo de do que , porque observamos mais. De fato, temos Se plotarmos essa função em , podemos ver como a probabilidade confirma nossa intuição. Obviamente, não sabemos o valor real de - poderia ter sido vez de , mas a função de probabilidade nos diz que o primeiro é muito menos provável que o segundo. Mas se queremos determinar uma probabilidade $n = 5$ $\boldsymbol x = (1, 1, 0, 1, 1)$ $p$ $1$ $0$

L (p ∣ x) = p^{4} (1 - p) .

$L(p \mid \boldsymbol x) = p^4 (1 - p).$

p \in [0, 1]

$p \in [0,1]$

p

$p$

p = 0.25

$p = 0.25$

p = 0.8

$p = 0.8$ que está em um determinado intervalo, temos que normalizar a probabilidade: desde que , segue-se que em Para obter uma densidade posterior para , devemos multiplicar por : De fato, essa posterior é uma distribuição beta com os parâmetros . Agora as áreas abaixo da densidade correspondem a probabilidades.

p

$p$

\int_{p = 0}^{1} p^{4} (1 - p) d p = \frac{1}{30}

$\int_{p=0}^1 p^4(1-p) \, dp = \frac{1}{30}$

p

$p$

30

$30$

f_{p} (p ∣ x) = 30 p^{4} (1 - p) .

$f_p(p \mid \boldsymbol x) = 30p^4(1-p).$

a = 5, b = 2

$a = 5, b = 2$

Portanto, o que fizemos aqui essencialmente é a regra de Bayes: Aqui, é uma distribuição anterior no (s) parâmetro (s) , o numerador é a probabilidade de que é também a distribuição conjunta de

f_{Θ} (θ ∣ x) = \frac{f_{X} (x ∣ θ) f_{Θ} (θ)}{f_{X} (x)} .

$f_{\boldsymbol \Theta}(\boldsymbol \theta \mid \boldsymbol x) = \frac{f_{\boldsymbol X}(\boldsymbol x \mid \boldsymbol \theta) f_{\boldsymbol \Theta}(\boldsymbol \theta)}{f_{\boldsymbol X}(\boldsymbol x)}.$

f_{Θ} (θ)

$f_{\boldsymbol \Theta}(\boldsymbol \theta)$

θ

$\boldsymbol \theta$

L (θ ∣ x) = f_{X} (x ∣ θ) f_{Θ} (θ) = f_{X, Θ} (x, θ)

$L(\boldsymbol \theta \mid \boldsymbol x) = f_{\boldsymbol X}(\boldsymbol x \mid \boldsymbol \theta) f_{\boldsymbol \Theta}(\boldsymbol \theta) = f_{\boldsymbol X, \boldsymbol \Theta}(\boldsymbol x, \boldsymbol \theta)$

X, Θ

$\boldsymbol X, \boldsymbol \Theta$ , e o denominador é a densidade marginal (incondicional) de , obtida pela integração da distribuição conjunta em relação a para encontrar a constante de normalização que torna a probabilidade uma densidade de probabilidade com respeito ao (s) parâmetro (s). Em nosso exemplo numérico, assumimos implicitamente que o prior para seja uniforme em . Pode-se mostrar que, para uma amostra de Bernoulli, se o anterior for , o posterior para também será Beta, mas com os parâmetros ,

X

$\boldsymbol X$

θ

$\boldsymbol \theta$

f_{Θ}

$f_{\boldsymbol \Theta}$

[0, 1]

$[0,1]$

B e t a (a, b)

${\rm Beta}(a,b)$

f_{Θ}

$f_{\boldsymbol \Theta}$

a^{*} = a + \sum x_{i}

$a^* = a+\sum x_i$

b^{*} = b + n - \sum x_{i}

$b^* = b + n - \sum x_i$ . Chamamos esse conjugado anterior (e nos referimos a isso como um par conjugado Bernoulli-Beta).

— heropup
fonte