Proporção de probabilidades versus proporção de PDFs

Estou usando o Bayes para resolver um problema de cluster. Depois de fazer alguns cálculos, acabo com a necessidade de obter a razão de duas probabilidades:

P (A) / P (B)

$P(A)/P(B)$

para obter $P(H|D)$ . Essas probabilidades são obtidas pela integração de dois KDEs multivariados 2D diferentes, conforme explicado nesta resposta :

P (A) = \iint_{x, y : \hat{f} (x, y) < \hat{f} (r_{a}, s_{a})} \hat{f} (x, y) d x d y

$P(A) = \iint_{x, y : \hat{f}(x, y) < \hat{f}(r_a, s_a)} \hat{f}(x,y)\,dx\,dy$

P (B) = \iint_{x, y : \hat{g} (x, y) < \hat{g} (r_{b}, s_{b})} \hat{g} (x, y) d x d y

$P(B) = \iint_{x, y : \hat{g}(x, y) < \hat{g}(r_b, s_b)} \hat{g}(x,y)\,dx\,dy$

onde e são as KDES e a integração é feita para todos os pontos abaixo dos limiares e . Ambos os KDEs usam um kernel gaussiano . Uma imagem representativa de um KDE semelhante à que eu estou trabalhando pode ser vista aqui: Integrando o estimador de densidade de kernel em 2D . $\hat{f}(x, y)$ $\hat{g}(x, y)$ $\hat{f}(r_a, s_a)$ $\hat{g}(r_b, s_b)$

Eu calculo os KDEs por meio da pythonfunção stats.gaussian_kde , então assumo a seguinte forma geral:

K D E (x, y) = \frac{1}{n} \sum_{i = 1}^{n} - \frac{1}{2 h^{2}} e^{- \frac{(x - x_{i})^{2} + (y - y_{i})^{2}}{2 h^{2}}}

$KDE(x,y) = \frac{1}{n} \sum_{i=1}^{n} -\frac{1}{2h^2} e^{-\frac{(x-x_i)^2 + (y-y_i)^2}{2h^2}}$

Onde nestá o comprimento da minha matriz de pontos e ha largura de banda usada.

As integrais acima são calculadas aplicando um processo de Monte Carlo, que é bastante computacionalmente caro. Eu li em algum lugar (esqueci onde, desculpe) que, em casos como este, é possível substituir a proporção de probabilidades pela proporção de PDFs (KDEs) avaliados nos pontos de limiar para obter resultados igualmente válidos. Estou interessado nisso, porque calcular a proporção do KDEs é uma ordem de magnitude mais rápida que calcular a proporção das integrais com o MC.

Portanto, a questão é reduzida à validade dessa expressão:

\frac{P (A)}{P (B)} = \frac{\hat{f} (r_{a}, s_{a})}{\hat{g} (r_{b}, s_{b})}

$\frac{P(A)}{P(B)} = \frac{\hat{f}(r_a, s_a)}{\hat{g}(r_b, s_b)}$

Em que circunstâncias, se houver, posso dizer que essa relação é verdadeira?

[erro de digitação fixo (EDIT)]

Adicionar :

Aqui está basicamente a mesma pergunta, mas feita de uma forma mais matemática .

— Gabriel
fonte

Observe que a existência de

apropriados é assegurada pelo teorema da média valorizada para integrais.

r_{a, b}, s_{a, b}

$r_{a,b}, s_{a,b}$

— Dave

Acredito que a Mills Ratio possa ser relevante.

— whuber

@whuber essa proporção aparentemente exige que eu saiba o valor do P(X)qual estou tentando evitar calcular. Você poderia expandir um pouco a relevância desse parâmetro?

— Gabriel

O KDE é uma mistura de distribuições normais. Vamos dar uma olhada em um deles.

As definições de e mostram que seus valores são invariantes em traduções e redimensionamentos no plano, portanto basta considerar a distribuição normal padrão com o PDF . A desigualdade $P(A)$ $P(B)$ $f$

f (x, y) \leq f (r, s)

$f(x,y) \le f(r,s)$

é equivalente a

x^{2} + y^{2} \geq r^{2} + s^{2} .

$x^2 + y^2 \ge r^2 + s^2.$

A introdução das coordenadas polares permite que a integral seja reescrita $\rho, \theta$

P (r, s) = \frac{1}{2 π} \int_{0}^{2 π} \int_{\sqrt{r^{2} + s^{2}}}^{\infty} ρ \exp (- ρ^{2} / 2) d ρ d θ = \exp (- (r^{2} + s^{2}) / 2) = 2 π f (r, s) .

$P(r,s) = \frac{1}{2\pi}\int_0^{2\pi}\int_\sqrt{r^2+s^2}^\infty \rho \exp(-\rho^2/2) d\rho d\theta= \exp(-(r^2+s^2)/2) = 2\pi f(r,s).$

Agora considere a mistura. Por ser linear,

\begin{aligned} P (r, s) & = \frac{1}{n} \sum_{i} 2 π f ((r - x_{i}) / h, (s - y_{i}) / h) \\ = 2 π h^{2} (\frac{1}{n} \sum_{i} \frac{1}{h^{2}} f ((r - x_{i}) / h, (s - y_{i}) / h)) \\ = 2 π h^{2} K D E (r, s) . \end{aligned}

$\eqalign{ P(r,s) &= \frac{1}{n}\sum_i 2\pi f((r-x_i)/h, (s-y_i)/h) \\ &= 2\pi h^2\left(\frac{1}{n}\sum_i \frac{1}{h^2} f((r-x_i)/h, (s-y_i)/h)\right) \\ &=2\pi h^2 KDE(r,s). }$

De fato, e são proporcionais. $f$ $P$ A constante de proporcionalidade é . $2\pi h^2$

Que tal relação de proporcionalidade entre e seja especial $P$ $f$ pode ser apreciada contemplando-se um simples contra-exemplo. Deixe- tem uma distribuição uniforme sobre um conjunto mensurável de unidade de área e têm uma distribuição uniforme sobre um conjunto mensurável que é separado a partir de e tem área . Em seguida, a mistura com PDF tem um valor constante $f_1$ $A_1$ $f_2$ $A_2$ $A_1$ $\mu\gt 1$ $f=f_1/2 + f_2/2$ em , em e é zero em outro lugar. Há três casos a considerar: $1/2$ $A_1$ $1/(2\mu)$ $A_2$

. Aqui atinge o seu máximo, de onde . A proporção . $(r,s)\in A_1$ $f(r,s)=1/2$ $P(r,s)=1$ $f(r,s)/P(r,s) = 1/2$
$(r,s)\in A_2$ $f(r,s)$ $1/2$ $0$ $A_1$ $1/2$ $f(r,s)/P(r,s) = (1/(2\mu))/(1/2) = 1/\mu$ .
Elsewhere, $f$ is zero and the integral $P$ is zero.

Evidently the ratio (where it is defined) is not constant and varies between $1$ and $1/\mu \ne 1$ . Although this distribution is not continuous, it can be made so by adding a Normal $(0,\Sigma)$ distribution to it. By making both eigenvalues of $\Sigma$ small, this will change the distribution very little and produce qualitatively the same results--only now the values of the ratio $f/P$ will include all the numbers in the interval $[1,1/\mu]$ .

This result also does not generalize to other dimensions. Essentially the same calculation that started this answer shows that $P$ is an incomplete Gamma function and that clearly is not the same as $f$ . That two dimensions are special can be appreciated by noting that the integration in $P$ essentially concerns the distances and when those are Normally distributed, the distance function has a $\chi^2(2)$ distribution--which is the exponential distribution. The exponential function is unique in being proportional to its own derivative--whence the integrand $f$ and integral $P$ must be proportional.

— whuber
fonte

This is an incredibly answer whuber, thank you so much. It'll take me a while to fully process everything you've written here but I completely trust you calculations which means I've marked the question as resolved. Cheers.

— Gabriel