Existe um estimador imparcial da distância de Hellinger entre duas distribuições?

Em um cenário em que se observa $X_1,\ldots,X_n$ distribuído a partir de uma distribuição com densidade $f$ , gostaria de saber se existe um estimador imparcial (baseado nos $X_i$ ) da distância de Hellinger a outra distribuição com densidade $f_0$ , ou seja,

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— Xi'an
fonte

Então f0 é conhecido e corrigido. Mas é conhecido ou de uma família paramétrica ou está fazendo isso em uma estrutura não paramétrica com tudo o que você sabe sobre f vindo de sua amostra? Eu acho que faz a diferença ao tentar uma resposta.

— Michael R. Chernick

@ MichaelChernick: suponha que tudo o que você sabe sobre

é a amostra

f

$f$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— Xi'an

Eu não acho que tenha sido calculado (se houver). Se existir, a AIC tem um irmão perdido.

Um ataque a este problema parece viável se você assumir

são discretos. Isso leva a um estimador óbvio (calcule a distância de Hellinger entre o EDF

). O bootstrapping (teoricamente, não por meio de simulação!) Nos permitirá lidar com o possível viés, bem como uma maneira de reduzir (ou mesmo eliminar) o viés. Tenho alguma esperança de ter sucesso com a distância ao quadrado, e não com a distância em si, porque é matematicamente mais tratável. A suposição de um

discreto não é problema nas aplicações; o espaço de

discreto é um subconjunto denso de qualquer maneira.

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$

f

$f$

f

$f$

— whuber

Lembra-se da prova de Rosenblatt de que não existe um estimador imparcial "fidedigno" de

. Podemos superar isso e obter um estimador não-dividido de

? Eu não sei.

f

$f$

H (f, f_{0})

$H(f,f_0)$

— Zen

Respostas:

Nenhuma estimador quer de ou de existe para a partir de qualquer razoavelmente ampla classe não paramétrico de distribuições. $\mathfrak{H}$ $\mathfrak{H}^2$ $f$

Podemos mostrar isso com o argumento lindamente simples de

Bickel e Lehmann (1969). Estimação imparcial em famílias convexas . Os Anais de Estatística Matemática, 40 (5) 1523-1535. ( projeto euclides )

Corrija algumas distribuições , e , com as densidades correspondentes , e . Deixe- significam , e deixá- ser um estimador de com base em amostras iid . $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

Suponha-se que é imparcial para amostras de qualquer distribuição da forma Mas então $\hat H$

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

de modo que

deve ser um polinómio em

de grau no máximo

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$

Q (α)

$Q(\alpha)$

α

$\alpha$

n

$n$

Agora, vamos nos especializar em um caso razoável e mostrar que o correspondente não é polinomial. $Q$

Seja alguma distribuição que tenha densidade constante em : para todos . (Seu comportamento fora desse intervalo não importa.) Seja alguma distribuição suportada apenas em e alguma distribuição suportada apenas em . $F_0$ $[-1, 1]$ $f_0(x) = c$ $\lvert x \rvert \le 1$ $F$ $[-1, 0]$ $G$ $[0, 1]$

Agora que

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$

e do mesmo modo para

. Observe que

para todas as distribuições

que possuem uma densidade.

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$

B_{G}

$B_G$

B_{F} > 0

$B_F > 0$

B_{G} > 0

$B_G > 0$

F

$F$

G

$G$

$\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ is not a polynomial of any finite degree. Thus, no estimator $\hat H$ can be unbiased for $\mathfrak{H}$ on all of the distributions $M_\alpha$ with finitely many samples.

Likewise, because $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ is also not a polynomial, there is no estimator for $\mathfrak{H}^2$ which is unbiased on all of the distributions $M_\alpha$ with finitely many samples.

Isso exclui praticamente todas as classes de distribuição não paramétricas razoáveis, exceto aquelas com densidades delimitadas abaixo (uma suposição de que as análises não paramétricas às vezes fazem). Você provavelmente poderia matar essas classes também com um argumento semelhante apenas tornando as densidades constantes ou algo assim.

— Dougal
fonte

Não sei como construir (se existir) um estimador imparcial da distância de Hellinger. Parece possível construir um estimador consistente. Temos alguma densidade conhecida fixa $f_0$ e uma amostra aleatória $X_1,\dots,X_n$ from a density $f>0$ . We want to estimate

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$ where

X \sim f

$X\sim f$ . By the SLLN, we know that

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$ almost surely, as

n \to \infty

$n\to\infty$ . Hence, a resonable way to estimate

H (f, f_{0})

$H(f,f_0)$ would be to take some density estimator

\hat{f_{n}}

$\hat{f_n}$ (such as a traditional kernel density estimator) of

f

$f$ , and compute

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— Zen
fonte

@Zen: Good point! I consider this answer as the answer because it made me realise

H

$H$ sounds very much like a standard deviation, for which there exists no unbiased estimator. As for the variance of

{\hat{H}}_{n}^{2}

$\hat H^2_n$ , no worries:

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$ implies that this estimator has a finite variance.

— Xi'an

Thanks for the clarification about the variance of the estimator, Xi'an!

— Zen

Some work on other consistent estimators: (a) arxiv.org/abs/1707.03083 and related work based on

k

$k$ -NN density estimators; (b) arxiv.org/abs/1402.2966 based on correcting kernel density estimates; (c) ieeexplore.ieee.org/document/5605355 based on a connection to classification. (Many of these are based on samples from both

f

$f$ and

f_{0}

$f_0$ , because that's the work I knew about offhand, but I think there are variants for known

f_{0}

$f_0$ .)

— Dougal