Interpretação do derivado de Radon-Nikodym entre medidas de probabilidade?

Já vi em alguns momentos o uso da derivada Radon-Nikodym de uma medida de probabilidade em relação a outra, principalmente na divergência de Kullback-Leibler, onde é a derivada da medida de probabilidade de um modelo para algum parâmetro arbitrário em relação ao parâmetro real : $\theta$ $\theta_0$

\frac{d P_{θ}}{d P_{θ_{0}}}

$\frac {dP_\theta}{dP_{\theta_0}}$

Onde ambas são medidas de probabilidade no espaço de pontos de dados condicionais em um valor de parâmetro: . $P_\theta(D)=P(D|\theta)$

Qual é a interpretação de um derivado de Radon-Nikodym na divergência de Kullback-Leibler, ou mais geralmente entre duas medidas de probabilidade?

— user56834
fonte

Primeiro, não precisamos de medidas de probabilidade, apenas -finiteness. Então deixou ser um espaço mensurável e deixar e ser -finite medidas em . $\sigma$ $\mathcal M = (\Omega, \mathscr F)$ $\mu$ $\nu$ $\sigma$ $\mathcal M$

O teorema de Radon-Nikodym afirma que se para todo , denotado por , existe um Borel não negativo função tal que para todos . $\mu(A) = 0 \implies \nu(A) = 0$ $A \in \mathscr F$ $\mu \gg \nu$ $f$

ν (A) = \int_{A} f d μ

$\nu(A) = \int_A f \,\text d\mu$

A \in F

$A \in \mathscr F$

Aqui está como eu gosto de pensar nisso. Primeiro, para quaisquer duas medidas em , vamos definir como . Esta é uma relação de equivalência válida e dizemos que e são equivalentes neste caso. Por que isso é uma equivalência sensata para medidas? Medidas são apenas funções, mas seus domínios são difíceis de visualizar. E se duas funções comuns tiverem essa propriedade, ou seja, ? Bem, defina e observe que em qualquer lugar com o apoio de $\mathcal M$ $\mu \sim \nu$ $\mu(A) = 0 \iff \nu(A) = 0$ $\mu$ $\nu$ $f, g :\mathbb R \to \mathbb R$ $f(x) = 0 \iff g(x) = 0$

h (x) = {\begin{cases} f (x) / g (x) & g (x) \neq 0 \\ π^{e} & o.w. \end{cases}

$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$

g

$g$ temos , e fora do suporte de (já que e compartilham suporte), então permite redimensionar em . Como o @whuber aponta, a idéia principal aqui não é que seja de alguma forma "seguro" para fazer ou ignorar, mas quando então não importa o que faça, podemos defini-lo arbitrariamente (como ser que não tem significado especial aqui) e as coisas ainda funcionam. Também neste caso, podemos definir a função análoga com para que

g h = f

$gh = f$

g

$g$

g h = 0 \cdot π^{e} = 0 = f

$gh = 0 \cdot \pi^e = 0 = f$

f

$f$

g

$g$

h

$h$

g

$g$

f

$f$

0 / 0

$0/0$

g = 0

$g = 0$

h

$h$

π^{e}

$\pi^e$

h^{'}

$h'$

g / f

$g / f$

f h^{'} = g

$fh' = g$ .

Em seguida, suponha que , mas a outra direção não se mantém necessariamente. Isso significa que nossa definição anterior de ainda funciona, mas agora não funciona, pois terá divisões reais por . Assim, podemos redimensionar em via , mas não podemos ir na outra direção, pois precisaríamos redimensionar algo em algo diferente de zero. $g(x) = 0 \implies f(x) = 0$ $h$ $h'$ $0$ $g$ $f$ $gh = f$ $0$

Agora vamos voltar para e e denotar nosso RND por . Se , isso significa intuitivamente que um pode ser redimensionado para o outro e vice-versa. Mas geralmente queremos apenas ir uma direção com isso (ou seja, redimensionar uma boa medida, como a medida de Lebesgue, em uma medida mais abstrata); portanto, precisamos apenas de para fazer coisas úteis. Esse redimensionamento é o coração do RND. $\mu$ $\nu$ $f$ $\mu \sim \nu$ $\mu \gg \nu$

Retornando ao ponto do @ whuber nos comentários, há uma sutileza extra do motivo pelo qual é seguro ignorar o problema . Isso ocorre porque, com as medidas, estamos apenas definindo as coisas para conjuntos de medidas portanto, em qualquer conjunto com , podemos fazer nosso RND assumir qualquer valor, digamos . Portanto, não é que seja intrinsecamente seguro, mas em qualquer lugar que teríamos é um conjunto de medidas wrt para que possamos definir nosso RND como algo bom lá sem afetar nada. $0/0$ $0$ $A$ $\mu(A) = 0$ $1$ $0/0$ $0/0$ $0$ $\mu$

Como exemplo, suponha para alguns . Então então temos que é o RND (isso pode ser justificado mais formalmente pelo teorema da mudança de medidas). Isso é bom porque recuperamos exatamente o fator de escala. $k \cdot \mu = \nu$ $k > 0$

ν (A) = \int_{A} d ν = \int_{A} k d μ

$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$

f (x) = k = \frac{d ν}{d μ}

$f(x) = k = \frac{\text d\nu}{\text d\mu}$

Aqui está um segundo exemplo para enfatizar como a alteração de RNDs em conjuntos de medidas não os afeta. Seja , ou seja, é o PDF normal padrão mais se a entrada for racional e seja um RV com essa densidade. Isso significa modo que, na verdade, o ainda é um RV gaussiano padrão. Ele não afetou a distribuição de forma alguma para alterar em porque é um conjunto de medidas wrt $0$ $f(x) = \varphi(x) + 1_{\mathbb Q}(x)$ $1$ $X$

P (X \in A) = \int_{A} (φ + 1_{Q}) d λ

$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$

= \int_{A} φ d λ + λ (Q) = \int_{A} φ d λ

$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$

X

$X$

X

$X$

Q

$\mathbb Q$

0

$0$

λ

$\lambda$ .

Como exemplo final, suponha que e e permita que e sejam suas respectivas distribuições. Lembre-se de que pmf é um RND com relação à medida de contagem , e como tem a propriedade de que , verifica-se que $X \sim \text{Pois}(\eta)$ $Y \sim \text{Bin}(n, p)$ $P_X$ $P_Y$ $c$ $c$ $c(A) = 0 \iff A = \emptyset$

\frac{d P_{Y}}{d P_{X}} = \frac{d P_{Y} / d c}{d P_{X} / d c} = \frac{f_{Y}}{f_{X}}

$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$

para que possamos calcular

P_{Y} (A) = \int_{A} d P_{Y}

$P_Y(A) = \int_A \,\text dP_Y$

= \int_{A} \frac{d P_{Y}}{d P_{X}} d P_{X} = \int_{A} \frac{d P_{Y}}{d P_{X}} \frac{d P_{X}}{d c} d c

$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$

= \sum_{y \in A} \frac{d P_{Y}}{d P_{X}} (y) \frac{d P_{X}}{d c} (y) = \sum_{y \in A} \frac{f_{Y} (y)}{f_{X} (y)} f_{X} (y) = \sum_{y \in A} f_{Y} (y) .

$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$

Assim, como para todos os no suporte de , podemos redimensionar a integração em relação a uma distribuição de Poisson em integração em relação a uma distribuição binomial, embora, porque tudo seja discreto, pareça uma trivial resultado. $P(X = n) > 0$ $n$ $Y$

Fiz sua pergunta mais geral, mas não toquei nas divergências de KL. Para mim, pelo menos, acho a divergência KL muito mais fácil de interpretar em termos de teste de hipóteses, como a resposta de @kjetil b halvorsen aqui . Se e existir uma medida que domine os dois, use podemos recuperar o formulário com densidades, então para mim eu acho isso mais fácil. $P \ll Q$ $\mu$ $\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$

— jld
fonte

Gostei dessa exposição (como todas as suas contribuições), mas, no fundo, parece se basear na afirmação (repetida) de que faz algum tipo de sentido - mas não faz. Há algo acontecendo com as medidas que não acontecem automaticamente com funções de valores reais: você pode simplesmente ignorar o que acontece nos conjuntos de medidas zero. É assim que você evita ter que entender na configuração de derivado Radon-Nikodym.

0 / 0

$0/0$

0 / 0

$0/0$

— whuber

@whuber muito obrigado pelo comentário, isso realmente ajuda. Eu tentei atualizar para resolver isso

— jld 01/02