Introdução Como o @vqv mencionou Variação total e Kullback Leibler, são duas distâncias interessantes. O primeiro é significativo porque pode estar diretamente relacionado aos erros de primeiro e segundo tipo no teste de hipóteses. O problema com a distância total da variação é que pode ser difícil calcular. A distância de Kullback Leibler é mais fácil de calcular e chegarei a isso mais tarde. Não é simétrico, mas pode ser simétrico (de alguma forma um pouco artificial).
LP0,P1i=0,1 PiμiCi
∥L∥2L2(P1/2)
para um bem escolhido .P1/2
Em palavras simples :
- pode haver diferentes rotações interessantes de "direções", obtidas usando sua fórmula com uma das matrizes de covariância "interpoladas" ( ou ) definidas no final deste post (o número é o que você propõe em seu comentário à sua pergunta). Σ=Ci,1/2i=1,2,3,455
- Como suas duas distribuições têm covariâncias diferentes, não é suficiente comparar os meios , você também precisa comparar as covariâncias.
Deixe-me explicar por que esse é o meu sentimento, como você pode calcular isso no caso de e como escolher .C1≠C0P1/2
Caixa linear Se .C1=C0=Σ
σ=ΔΣ−1Δ=∥2L∥2L2(P1/2)
onde é o "interpolar" entre e (gaussiano com covariância e média ). Observe que, neste caso, a distância de Hellinger, a distância total de variação pode ser escrita usando .P1/2P1P0Σ(μ1+μ0)/2σ
Como calcular no caso geralL A pergunta natural que surge da sua pergunta (e meu ) é o que é um "interpolate" natural entre e quando . Aqui a palavra natural pode ser específica do usuário, mas, por exemplo, pode estar relacionada à melhor interpolação para ter um limite superior apertado com outra distância (por exemplo, distância aqui )P1P0C1≠C0L1
Escrevendo
( ) pode ajudar a ver onde está a tarefa de interpolação, mas:
L=ϕ(C−1/2i(x−μi))−ϕ(C−1/2j(x−μj))−12log(CiC−j)
i=0,j=1
L(x)=−12⟨Aij(x−sij),x−sij⟩Rp+⟨Gij,x−sij⟩Rp−cij,[1]
com
Aij=C−i−C−j,Gij=Sijmij,Sij=C−i+C−j2,
cij=18⟨Aijmij,mij⟩Rp+12log|det(C−jCi)|
e
mij=μi−μjandsij=μi+μj2
é mais relevante para fins computacionais. Para qualquer gaussiano com média e covariância o cálculo de da Equação é um pouco técnico mas viável. Você também pode usá-lo para calcular a distância do Kulback leibler.P1/2s01C∥L∥2L2(P1/2)1
Que interpolação devemos escolher (ou seja, como escolher )P1/2
É claramente entendido na Equação que existem muitos candidatos diferentes para (interpolação) no caso "quadrático". Os dois candidatos que achei "mais naturais" (subjetivos :)) surgem da definição de uma distribuição gaussiana com média :1P1/2t∈[0,1]Pttμ1+(1−t)μ0
- P1t como a distribuição de (onde é extraído de ) que possui covariância ).
ξt=tξ1+(1−t)ξ0
ξiPi i=0,1Ct,1=(tC1/21+(1−t)C1/20)2
- P2t com covariância inversaC−1t,2=tC−11+(1−t)C−10
- P3t com covariânciaCt,3=tC1+(1−t)C0
- P4t com covariância inversaC−1t,4=(tC−1/21+(1−t)C−1/20)2
EDIT: O que você propõe em um comentário à sua pergunta pode ser , por que não ...Ct,5=Ct1C1−t0
Eu tenho minha escolha favorita, que não é a primeira :) não tenho muito tempo para discutir isso aqui. Talvez eu edite esta resposta mais tarde ...