Probabilidade condicional de variável contínua

Suponha que a variável aleatória $U$ siga uma distribuição uniforme uniforme com os parâmetros 0 e 10 (ou seja, $U \sim \rm{U}(0,10)$ )

Agora, vamos denotar A o evento que $U$ = 5 e B o evento que $U$ é igual a $5$ ou 6. De acordo com o meu entendimento, ambos os eventos têm probabilidade zero de ocorrer.

Agora, se considerarmos calcular $P(A|B)$ , não podemos usar a lei condicional $P\left( {A|B} \right) = \frac{{P\left( {A \cap B} \right)}}{{P\left( B \right)}}$ , porque $P(B)$ é igual a zero. No entanto, a minha intuição me diz que $P(A|B) = 1/2$ .

conditional-probability continuous-data uniform

— Novato
fonte

O que sua intuição lhe diria se

tivesse densidade não uniforme de

U

$U$

0.02 u, u \in (0, 10)

$0.02u, u \in (0,10)$

— Dilip Sarwate

@DilipSarwate Minha intuição me dizia que a resposta é um número ligeiramente inferior a 0,5

— Noob

Respostas:

"O conceito de probabilidade condicional em relação a uma hipótese isolada cuja probabilidade é igual a 0 é inadmissível." A. Kolmogorov

Para variáveis aleatórias contínuas, e dizem, distribuições condicionais são definidas pela propriedade de que eles recuperam a medida de probabilidade original, ou seja, para todos os conjuntos mensuráveis , , $X$ $Y$ $A\in\mathcal{B}(\mathbf{X})$ $B\in\mathcal{B}(\mathbf{Y})$ Isso implica que a densidade condicional seja definida arbitrariamente em conjuntos de medidas zero ou, em outras palavras, que a densidade condicional é definidoquase em todo lugar. Como o conjunto é da medida zero em relação à medida de Lebesgue, isso significa que você pode definir e maneiras absolutamente arbitrárias e, portanto, a probabilidade

P (X \in A, Y \in B) = \int_{B} d P_{Y} (y) \int_{B} d P_{X | Y} (x | y)

$\mathbb{P}(X\in A,Y\in B)=\int_B \text{d}P_Y(y) \int_B \text{d}P_{X|Y}(x|y)$

p_{X | Y} (x | y)

$p_{X|Y}(x|y)$

{5, 6}

$\{5,6\}$

p (5)

$p(5)$

p (6)

$p(6)$

pode assumir qualquer valor.

P (você = 5 | você \in {5, 6})

$\mathbb{P}(U=5|U\in\{5,6\})$

Isso não significa que você não pode definir uma densidade condicional pela fórmula da razão como no caso normal bivariado, mas simplesmente que a densidade é definida apenas em quase todos os lugares para ambos e .

f (y | x) = f (x, y) / f (x)

$f(y|x)=f(x,y)\big/f(x)$

x

$x$

y

$y$

"Muitos argumentos fúteis surgiram - entre probabilistas de outra forma competentes - sobre qual desses resultados é 'correto'." ET Jaynes

O fato de o argumento limitador (quando chegar a zero) na resposta acima parece dar uma resposta natural e intuitiva está relacionado ao paradoxo de Borel . A escolha da parametrização no limite é importante, como mostra o exemplo a seguir que uso nas minhas aulas de graduação. $\epsilon$

Tome o bivariado normal Qual é a densidade condicional de dado que ?

X, Y \overset{i.i.d.}{\sim} N (0, 1)

$X,Y\stackrel{\text{i.i.d.}}{\sim}\mathcal{N}(0,1)$ $X$ $X=Y$

Se alguém começa a partir da densidade da junta , a resposta "intuitiva" é [proporcional a] . Isso pode ser obtido considerando a mudança da variável onde tem a densidade $\varphi(x)\varphi(y)$ $\varphi(x)^2$

(x, t) = (x, y - x) \sim φ (x) φ (t + x)

$(x,t)=(x,y-x) \sim \varphi(x)\varphi(t+x)$

T = Y - X

$T=Y-X$

. Logo,

φ (t / \sqrt{2}) / \sqrt{2}

$\varphi(t/\sqrt{2})/\sqrt{2}$

f (x | t) = \frac{φ (x) φ (t + x)}{φ (t / \sqrt{2}) / \sqrt{2}}

$f(x|t)=\dfrac{\varphi(x)\varphi(t+x)}{\varphi(t/\sqrt{2})/\sqrt{2}}$

No entanto, se considerarmos a alteração da variável

a densidade marginal de

é a densidade de Cauchy

e a densidade condicional de

f (x | t = 0) = \frac{φ (x) φ (x)}{φ (0 / \sqrt{2}) / \sqrt{2}} = φ (x)^{2} \sqrt{2}

$f(x|t=0)=\dfrac{\varphi(x)\varphi(x)}{\varphi(0/\sqrt{2})/\sqrt{2}}=\varphi(x)^2\sqrt{2}$

(x, r) = (x, y / x) \sim φ (x) φ (r x) | x |

$(x,r)=(x,y/x) \sim \varphi(x)\varphi(rx)|x|$

R = Y / X

$R=Y/X$

ψ (r) = 1 / π {1 + r^{2}}

$\psi(r)=1/\pi\{1+r^2\}$

X

$X$ dado que

R

$R$

f (x | r) = φ (x) φ (r x) | x | \times π {1 + r^{2}}

$f(x|r)=\varphi(x)\varphi(rx)|x| \times \pi \{1+r^2\}$

f (x | r = 1) = π φ (x)^{2} | x | / 2 .

$f(x|r=1)= \pi\varphi(x)^2|x|/2\,.$

R = 1

$R=1$

T = 0

$T=0$

X = Y

$X=Y$

X

$X$

— Xi'an
fonte

Isto é simplesmente errado. Se você seguir um curso rigoroso da teoria das probabilidades, verá que o condicionamento a eventos de medida zero é possível e prático. Considere um gaussiano bitivariado. Todo mundo sabe que você pode condicionar a primeira variável assumindo o valor zero, embora esse evento tenha probabilidade zero. Veja a Wikipedia. pt.wikipedia.org/wiki/…

— Yair Daon

Aqui está uma resposta controversa:

Xi'an está certo que você não pode condicionar eventos com probabilidade zero. No entanto, a Yair também tem razão em que, depois de decidir sobre um processo de limitação , você poderá avaliar uma probabilidade. O problema é que existem muitos processos limitadores que chegam à condição desejada.

Eu acho que o princípio da indiferença às vezes pode resolver essas escolhas. Argumenta que o resultado não deve ser afetado por uma troca arbitrária de rótulos. no seu caso, digamos, invertendo o intervalo para que fique uniforme $(1, 11)$ e os pontos 5 e 6 foram trocados. Inverter altera uma resposta $p$ para $1-p$ . Portanto, se você escolheu um processo limitador diferente para um do outro, então, por uma mudança arbitrária de rótulos (nesse caso, alterando o infinito positivo por infinito negativo) obteve um resultado diferente. Isso não deve acontecer de acordo com o princípio da indiferença. Portanto, a resposta é 0,5 como você adivinhou.

Observe que muitos estatísticos não aceitam o princípio da indiferença. Gosto porque reflete minhas intuições. Embora eu nem sempre tenha certeza de como aplicá-lo, talvez em 50 anos seja mais popular?

— Neil G
fonte

Obrigado por um post atencioso. Eu, por um lado, duvido seriamente que o "princípio da indiferença" seja sempre mainstream, porque não é viável. Seu argumento desmorona quando os valores subjacentes são reexpressos. A distribuição uniforme em

[0, 10]

$[0,10]$ pode se tornar, digamos, uma distribuição Cauchy,

5

$5$ poderia se tornar

0

$0$ e

6

$6$ tornar-se

\sqrt{1 - \frac{2}{\sqrt{5}}}

$\sqrt{1-\frac{2}{\sqrt{5}}}$ . Seu "princípio de indiferença" agora produz uma resposta completamente diferente. (Eu usei as transformações de probabilidade de trabalhar fora este exemplo.)

— whuber

@ whuber: O argumento de inversão não funcionaria para uma distribuição Cauchy, a menos que você alternasse o modo.

— 31515 Neil G

Claro que sim: existem várias maneiras de transformar uma distribuição contínua em outra que troca dois valores. Na verdade, seu "lançamento" nem preservou a distribuição original. (Ele mudou completamente o suporte.) Portanto, parece que tudo o que você está fazendo é substituir uma distribuição por outra. Parece não haver nenhum princípio operando aqui.

— whuber

@whuber: substituiu uma distribuição por outra, na qual as regiões uniformes ao redor dos 5 e 6 permaneceram inalteradas - da mesma maneira que acho que diminuir o zoom tenta deixar as densidades inalteradas nos círculos originais no paradoxo de Bertrand .

— 31515 Neil G

@ whuber: Você está certo. Gostei muito da resposta da Batata para uma das minhas perguntas. Pessoalmente, penso que, se houver discrepância entre teoria e intuição, devemos procurar novas e mais completas teorias. Talvez o "princípio da indiferença" não esteja certo, ou geralmente não seja viável, mas tenho um desejo natural da teoria da probabilidade de responder a perguntas para as quais temos um entendimento intuitivo. Talvez Lebesgue tenha o mesmo tipo de angústia sobre a integração de Riemann quando criou sua integral?

— Neil G

Yes we can! You can condition on events of zero probability! The math gets complicated - you need some measure theory but you can do it. In simple cases like this I would seek intuition by defining $A = [5 - \frac{\epsilon}{2} , 5 + \frac{\epsilon}{2}]$ and $B = [5 - \frac{\epsilon}{4} , 5 + \frac{\epsilon}{4}] \cup [6 - \frac{\epsilon}{4} , 6 + \frac{\epsilon}{4}]$ . Do everything now as you did before and take $\epsilon \to 0$ .

Let me stress again (and again) that the above method is used for intuition. Conditioning on events of zero probability is done very often without much thought. The best example I can think of is if $(X_1, X_2) \sim \mathcal{N}(0, \Sigma)$ is a bivariate gaussian. One often considers the density of $X_1$ given (say) $X_2 = 0$ , which is an event of measure zero. This is well grounded in theory, but not at all trivial. Regarding @Xi'an's quote of Kolmogorov - I can only quote Varadhan: "One of our goals is to seek a definition that makes sense when $P(\xi = a) = 0$ " (Probability Theory, Courant lecture notes, page 74).

So, yes, you can give meaning to conditioning on events of measure zero.

— Yair Daon
fonte

Suppose

U \sim U [0, 10]

$U\sim \text{U}[0,10]$ : that is, both

0

$0$ and

10

$10$ are possible. How would you deal with the situation when

A = {0}

$A=\{0\}$ and

B = {0, 6}

$B=\{0,6\}$ ? Would

P (A | B) = 1 / 2

$P(A|B)=1/2$ (which "intuitively" is the right answer because all numbers in

[0, 10]

$[0,10]$ have the same densities) or perhaps

1 / 3

$1/3$ (which a simple change of

5

$5$ to

0

$0$ in your formula would give) or even

0

$0$ ?

— whuber

@YairDaon Thank you for you answer! If I understood well, you mean to do the following: for small

ε

$\varepsilon$ , we have:

P (A | B) = \frac{P (A \cap B)}{P (B)} = \frac{\int_{5 - \frac{ε}{4}}^{5 + \frac{ε}{4}} f (u) d u}{\int_{5 - \frac{ε}{4}}^{5 + \frac{ε}{4}} f (u) d u + \int_{6 - \frac{ε}{4}}^{6 + \frac{ε}{4}} f (u) d u} = \frac{\frac{ε}{2}}{\frac{ε}{2} + \frac{ε}{2}} = 0.5

$P\left( {A|B} \right) = \frac{{P\left( {A \cap B} \right)}}{{P\left( B \right)}} = \frac{{\int\limits_{5 - \frac{\varepsilon }{4}}^{5 + \frac{\varepsilon }{4}} {f\left( u \right)du} }}{{\int\limits_{5 - \frac{\varepsilon }{4}}^{5 + \frac{\varepsilon }{4}} {f\left( u \right)du} + \int\limits_{6 - \frac{\varepsilon }{4}}^{6 + \frac{\varepsilon }{4}} {f\left( u \right)du} }} = \frac{{\frac{\varepsilon }{2}}}{{\frac{\varepsilon }{2} + \frac{\varepsilon }{2}}} = 0.5$

— Noob

@YairDaon But I think that the result is not invariant if originally we had defined A as

[5 - \frac{ε}{8}, 5 + \frac{ε}{8}]

$\left[ {5 - \frac{\varepsilon }{8},5 + \frac{\varepsilon }{8}} \right]$ (and B the same as before). In such a case the result would be

\frac{1}{8}

${\frac{1}{8}}$

— Noob

It is excellent for the intuition by showing there is no unique answer: that is the basis for Kolmogorov's statement quoted by @Xi'an. The fact you had to change your procedure to make things come out as you thought they should ought to alert you to the problems with this approach.

— whuber

The density of

X_{2}

$X_2$ given

X_{1}

$X_1$ is well-defined, contrary to the density of

X_{2}

$X_2$ given

X_{1} = 0

$X_1=0$ .

— Xi'an