Discrepância média máxima (distribuição à distância)

Eu tenho dois conjuntos de dados (dados de origem e destino) que seguem a distribuição diferente. Estou usando o MMD - que é uma distribuição de distância não paramétrica - para calcular a distribuição marginal entre os dados de origem e de destino.

dados de origem, Xs

dados de destino, Xt

adaptação Matrix A

* Dados projetados, Zs = A '* Xs e Zt = A' Xt

* MMD => Distância (P (Xs), P (Xt)) = | média (A'Xs) - média (A ' Xt) |

Isso significa: a distância da distribuição entre os dados de origem e destino no espaço original é equivalente à distância entre os meios de dados projetados de origem e destino no espaço incorporado.

Eu tenho uma pergunta sobre o conceito de MMD.

Na fórmula MMD, por que, com a distância computada no espaço latente, podemos medir a distância da distribuição no espaço original?

obrigado

— Mahsa
fonte

Você ainda não fez uma pergunta: apenas nos disse que fica confuso!

— whuber

Pode ajudar a fornecer um pouco mais de uma visão geral do MMD. $\DeclareMathOperator{\E}{\mathbb E}\newcommand{\R}{\mathbb R}\newcommand{\X}{\mathcal X}\newcommand{\h}{\mathcal H}\DeclareMathOperator{\MMD}{MMD}$

Em geral, o MMD é definido pela idéia de representar distâncias entre distribuições como distâncias entre incorporamentos médios de recursos. Ou seja, dizer que temos distribuições $P$ e $Q$ mais de um conjunto $\X$ . O MMD é definido por um mapa de características $\varphi : \X \to \h$ , onde $\mathcal H$ é o que é chamado de espaço Hilbert do kernel em reprodução. Em geral, o MMD é

MMD (P, Q) = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} .

$\MMD(P, Q) = \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h .$

Como um exemplo, podemos ter $\X = \h = \R^d$ e $\varphi(x) = x$ . Nesse caso:

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [X] - E_{Y \sim Q} [Y] ‖_{R^{d}} \\ = ‖ μ_{P} - μ_{Q} ‖_{R^{d}}, \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ X ] - \E_{Y \sim Q}[ Y ] \rVert_{\R^d} \\&= \lVert \mu_P - \mu_Q \rVert_{\R^d} ,\end{align}$ de modo que este é apenas o MMD distância entre os meios das duas distribuições. Distribuições correspondentes como essa corresponderão a seus meios, embora possam diferir em sua variação ou de outras maneiras.

$\mathcal X = \mathbb R^d$ $\mathcal H = \mathbb R^p$ $\varphi(x) = A' x$ $A$ $d \times p$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [A^{'} X] - E_{Y \sim Q} [A^{'} Y] ‖_{R^{p}} \\ = ‖ A^{'} E_{X \sim P} [X] - A^{'} E_{Y \sim Q} [Y] ‖_{R^{p}} \\ = ‖ A^{'} (μ_{P} - μ_{Q}) ‖_{R^{p}} . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ A' X ] - \E_{Y \sim Q}[ A' Y ] \rVert_{\R^p} \\&= \lVert A' \E_{X \sim P}[ X ] - A' \E_{Y \sim Q}[ Y ] \rVert_{\R^p} \\&= \lVert A'( \mu_P - \mu_Q ) \rVert_{\R^p} .\end{align}$

p < d

$p < d$

A^{'}

$A'$

$\X = \R$ $\varphi(x) = (x, x^2)$ $\sqrt{(\E X - \E Y)^2 + (\E X^2 - \E Y^2)^2}$

$\varphi$

$k(x, y) = \langle \varphi(x), \varphi(y) \rangle_\h$

\begin{aligned} {MMD}^{2} (P, Q) & = ‖ E_{X \sim P} φ (X) - E_{Y \sim Q} φ (Y) ‖_{H}^{2} \\ = ⟨ E_{X \sim P} φ (X), E_{X^{'} \sim P} φ (X^{'}) ⟩_{H} + ⟨ E_{Y \sim Q} φ (Y), E_{Y^{'} \sim Q} φ (Y^{'}) ⟩_{H} - 2 ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩_{H} \\ = E_{X, X^{'} \sim P} k (X, X^{'}) + E_{Y, Y^{'} \sim Q} k (Y, Y^{'}) - 2 E_{X \sim P, Y \sim Q} k (X, Y) \end{aligned}

$\begin{align} \MMD^2(P, Q) &= \lVert \E_{X \sim P} \varphi(X) - \E_{Y \sim Q} \varphi(Y) \rVert_\h^2 \\&= \langle \E_{X \sim P} \varphi(X), \E_{X' \sim P} \varphi(X') \rangle_\h + \langle \E_{Y \sim Q} \varphi(Y), \E_{Y' \sim Q} \varphi(Y') \rangle_\h - 2 \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle_\h \\&= \E_{X, X' \sim P} k(X, X') + \E_{Y, Y' \sim Q} k(Y, Y') - 2 \E_{X \sim P, Y \sim Q} k(X, Y) \end{align}$

Atualização: aqui é de onde vem o "máximo" no nome.

$\varphi: \X \to \h$ $\langle f, \varphi(x) \rangle_\h = f(x)$ $f \in \h$

$\X = \h = \R^d$ $\varphi(x) = x$ $f \in \h$ $w \in \R^d$ $f(x) = w' x$ $\langle f, \varphi(x) \rangle_\h = \langle w, x \rangle_{\R^d}$

$f$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] ⟩_{H} - ⟨ f, E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [⟨ f, φ (X) ⟩_{H}] - E_{Y \sim Q} [⟨ f, φ (Y) ⟩_{H}] \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [f (X)] - E_{Y \sim Q} [f (Y)] . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] \rangle_\h - \langle f, \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[\langle f, \varphi(X)\rangle_\h] - \E_{Y \sim Q}[\langle f, \varphi(Y) \rangle_\h] \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[f(X)] - \E_{Y \sim Q}[f(Y)] .\end{align}$

sup_{f : ‖ f ‖ \leq 1} ⟨ f, g ⟩_{H} = ‖ g ‖

$\sup_{f : \lVert f \rVert \le 1} \langle f, g \rangle_\h = \lVert g \rVert$

f = g / ‖ g ‖

$f = g / \lVert g \rVert$

$f$ $\h$

— Dougal
fonte

Obrigado pela sua explicação, fica mais claro para mim; Ainda não entendi esse conceito. No começo, você disse: "O MMD é definido pela idéia de representar distâncias entre distribuições como distâncias entre incorporamentos médios de recursos". Por que essa idéia se torna realidade?

— Mahsa 5/05

"MMD é definido pela idéia de representar distâncias entre distribuições como distâncias entre incorporamentos médios de recursos". Por que essa idéia se torna realidade? Está relacionada ao espaço RKHS?

— Mahsa 5/05

É apenas uma definição: você pode comparar distribuições comparando seus meios. Ou, você pode comparar distribuições comparando alguma transformação de seus meios; ou comparando seus meios e variações; ou comparando a média de qualquer outro mapa de recursos, incluindo um em um RKHS.

— Dougal

Obrigado pela sua resposta; Vou ler mais sobre o mapa de recursos do RKHS; Eu estava pensando, por que a distância definida pelo MMD no mapa de recursos do RKHS? Quero dizer, qual é o benefício do RKHS na definição de distância do MMD?

— Mahsa 7/05

A explicação aqui é focada na "Discrepância média" em oposição a "Discrepância média máxima". Alguém poderia elaborar a parte "Maximização"?

— Jiang Xiang

Aqui está como eu interpretei o MMD. Duas distribuições são semelhantes se seus momentos forem semelhantes. Aplicando um kernel, posso transformar a variável de modo que todos os momentos (primeiro, segundo, terceiro etc.) sejam computados. No espaço latente, posso calcular a diferença entre os momentos e calculá-la. Isso fornece uma medida da semelhança / dissimilaridade entre os conjuntos de dados.

— rsambasivan
fonte