Explicação de baixo para cima da distância de Mahalanobis?

Estou estudando reconhecimento de padrões e estatística e quase todos os livros que abro sobre o assunto me deparo com o conceito de distância de Mahalanobis . Os livros dão explicações intuitivas, mas ainda não são boas o suficiente para eu realmente entender o que está acontecendo. Se alguém me perguntasse "Qual é a distância de Mahalanobis?" Só pude responder: "É uma coisa legal, que mede algum tipo de distância" :)

As definições geralmente também contêm vetores próprios e valores próprios, que eu tenho um pouco de dificuldade em conectar à distância de Mahalanobis. Entendo a definição de autovetores e autovalores, mas como eles estão relacionados à distância de Mahalanobis? Isso tem algo a ver com a alteração da base na Álgebra Linear, etc.?

Também li estas perguntas anteriores sobre o assunto:

• Qual é a distância de Mahalanobis e como é usada no reconhecimento de padrões?

• Explicações intuitivas para a função de distribuição gaussiana e a distância mahalanobis (Math.SE)

Eu também li essa explicação .

As respostas são boas e fotos bom, mas eu ainda não realmente obtê-lo ... Eu tenho uma idéia, mas ele ainda está no escuro. Alguém pode dar uma explicação de "Como você explicaria isso à sua avó" para que eu pudesse finalmente encerrar isso e nunca mais me perguntar qual é a distância de Mahalanobis? :) De onde vem, o quê, por quê?

ATUALIZAR:

Aqui está algo que ajuda a entender a fórmula de Mahalanobis:

https://math.stackexchange.com/questions/428064/distance-of-a-test-point-from-the-center-of-an-ellipsoid

Aqui está um gráfico de dispersão de alguns dados multivariados (em duas dimensões):

O que podemos fazer disso quando os eixos são deixados de fora?

Introduzir coordenadas sugeridas pelos próprios dados.

A origem estará no centróide dos pontos (o ponto de suas médias). O primeiro eixo de coordenadas (azul na próxima figura) se estenderá ao longo da "espinha" dos pontos, que (por definição) é qualquer direção na qual a variação é maior. O segundo eixo de coordenadas (vermelho na figura) se estenderá perpendicularmente ao primeiro. (Em mais de duas dimensões, ele será escolhido na direção perpendicular em que a variação for a maior possível e assim por diante.)

Nós precisamos de uma balança . O desvio padrão ao longo de cada eixo será bom para estabelecer as unidades ao longo dos eixos. Lembre-se da regra 68-95-99.7: cerca de dois terços (68%) dos pontos devem estar dentro de uma unidade da origem (ao longo do eixo); cerca de 95% deve estar dentro de duas unidades. Isso facilita a observação das unidades corretas. Para referência, esta figura inclui o círculo de unidades nessas unidades:

Isso realmente não parece um círculo, parece? Isso ocorre porque esta imagem está distorcida (como evidenciado pelos diferentes espaçamentos entre os números nos dois eixos). Vamos redesenhá-lo com os eixos em suas orientações adequadas - da esquerda para a direita e de baixo para cima - e com uma proporção de unidade para que uma unidade horizontal realmente seja igual a uma unidade verticalmente:

Você mede a distância de Mahalanobis nesta imagem e não na original.

O que aconteceu aqui? Deixamos que os dados nos digam como construir um sistema de coordenadas para fazer medições no gráfico de dispersão. É só isso. Embora tenhamos feito algumas escolhas ao longo do caminho (sempre poderíamos reverter um ou ambos os eixos; e em raras situações as direções ao longo dos "espinhos" - as principais direções - não são únicas), elas não alteram as distâncias na trama final.

---

Comentários técnicos

(Não para a vovó, que provavelmente começou a perder o interesse assim que os números reapareceram nas parcelas, mas para abordar as questões restantes colocadas.)

• Os vetores unitários ao longo dos novos eixos são os autovetores (da matriz de covariância ou de sua inversa).

• Observamos que, sem distorcer a elipse para formar um círculo, divide a distância ao longo de cada vetor próprio pelo desvio padrão: a raiz quadrada da covariância. Deixando representar a função de covariância, a nova distância (Mahalanobis) entre dois pontos e é a distância de a dividida pela raiz quadrada de . As operações algébricas correspondentes, pensando agora em em termos de sua representação como matriz e e em termos de suas representações como vetores, são escritas . Isso funciona$C$$x$$y$$x$$y$$C(x-y, x-y)$$C$$x$$y$$\sqrt{(x-y)'C^{-1}(x-y)}$independentemente de qual base é usada para representar vetores e matrizes. Em particular, esta é a fórmula correta para a distância de Mahalanobis nas coordenadas originais.

• As quantidades pelas quais os eixos são expandidos na última etapa são os (raízes quadradas dos) autovalores da matriz de covariância inversa. Equivalentemente, os eixos são encolhidos pelos (raízes dos) autovalores da matriz de covariância. Assim, quanto mais dispersão, mais o encolhimento necessário para converter essa elipse em um círculo.

• Embora esse procedimento sempre funcione com qualquer conjunto de dados, ele parece ótimo (a nuvem clássica em forma de futebol) para dados que são aproximadamente multivariados Normal. Em outros casos, o ponto das médias pode não ser uma boa representação do centro dos dados ou os "espinhos" (tendências gerais nos dados) não serão identificados com precisão usando a variação como uma medida de dispersão.

• A mudança da origem das coordenadas, rotação e expansão dos eixos formam coletivamente uma transformação afim. Além desse turno inicial, é uma mudança de base do original (usando vetores unitários apontando nas direções das coordenadas positivas) para o novo (usando uma opção de vetores próprios unitários).

• Há uma forte conexão com a Análise de Componentes Principais (PCA) . Isso, por si só, ajuda bastante a explicar as perguntas "de onde vem" e "por que" - se você ainda não estava convencido pela elegância e utilidade de permitir que os dados determinem as coordenadas usadas para descrevê-las e medir suas diferenças.

• Para distribuições normais multivariadas (onde podemos realizar a mesma construção usando propriedades da densidade de probabilidade em vez das propriedades análogas da nuvem de pontos), a distância de Mahalanobis (para a nova origem) aparece no lugar do " " na expressão que caracteriza a densidade de probabilidade da distribuição normal padrão. Assim, nas novas coordenadas, uma distribuição normal multivariada parece padrão Normal$x$$\exp(-\frac{1}{2} x^2)$quando projetada em qualquer linha através da origem. Em particular, é o padrão Normal em cada uma das novas coordenadas. Desse ponto de vista, o único sentido substancial no qual as distribuições normais multivariadas diferem entre si é em termos de quantas dimensões elas usam. (Observe que esse número de dimensões pode ser e, às vezes, é menor que o número nominal de dimensões.)

Minha avó cozinha. O seu também pode. Cozinhar é uma maneira deliciosa de ensinar estatística.

Os biscoitos de abóbora Habanero são incríveis! Pense em como a canela e o gengibre podem ser maravilhosos nas guloseimas de Natal e depois perceba como estão quentes por conta própria.

Os ingredientes são:

• pimentas habanero (10, semeadas e picadas finamente)
• açúcar (1,5 xícaras)
• manteiga (1 xícara)
• extrato de baunilha (1 colher de chá)
• ovos (2 médios)
• farinha (2,75 xícaras)
• bicarbonato de sódio (1 colher de chá)
• sal (1 colher de chá)

Imagine seus eixos de coordenadas para o seu domínio sendo os volumes de ingredientes. Açúcar. Farinha. Sal. Bicarbonato de sódio. Variações ao longo dessas direções, sendo todas as demais iguais, não têm quase o impacto na qualidade do sabor como variação na contagem de pimentas habanero. Uma mudança de 10% na farinha ou na manteiga vai torná-lo menos ótimo, mas não matador. Adicionar apenas uma pequena quantidade a mais de habanero vai derrubá-lo de um penhasco saboroso, de sobremesa viciante a competição de dor baseada em testosterona.

Mahalanobis não é tão distante nos "volumes de ingredientes" quanto está longe do "melhor sabor". Os ingredientes realmente "potentes", muito sensíveis à variação, são os que você deve controlar com mais cuidado.

Se você pensa em alguma distribuição gaussiana versus a distribuição normal padrão , qual é a diferença? Centro e escala com base na tendência central (média) e tendência de variação (desvio padrão). Uma é a transformação de coordenadas da outra. Mahalanobis é essa transformação. Ele mostra como é o mundo se sua distribuição de interesse for relançada como um padrão normal em vez de um gaussiano.

Como ponto de partida, eu veria a distância de Mahalanobis como uma deformação adequada da distância euclidiana usual entre os vetores e em . O pedaço extra de informações aqui é que e são realmente aleatórias vetores, ou seja, 2 diferentes realizações de um vetor de variáveis aleatórias, encontrando-se no fundo da nossa discussão. A pergunta que os Mahalanobis tentam abordar é a seguinte:$d(x,y)=\sqrt{\langle x,y \rangle}$$x$$y$$\mathbb R^{n}$$x$$y$$X$

"como posso medir a" dissimilaridade "entre e , sabendo que eles estão realizando a mesma variável aleatória multivariada?" $x$$y$

Claramente, a dissimilaridade de qualquer realização com ela mesma deve ser igual a 0; além disso, a dissimilaridade deve ser uma função simétrica das realizações e refletir a existência de um processo aleatório em segundo plano. Este último aspecto é levado em consideração pela introdução da matriz de covariância da variável aleatória multivariada.$x$$C$

Reunindo as idéias acima, chegamos naturalmente a

$$D(x,y)=\sqrt{(x-y)\,C^{-1}(x-y)}$$

Se os componentes da variável aleatória multivariada não estiverem correlacionados, com, por exemplo, ("normalizamos" os para obter ), então a distância de Mahalanobis é a distância euclidiana entre e . Na presença de correlações não triviais, a matriz de correlação (estimada) "deforma" a distância euclidiana. X = ( X 1 , … , X n ) C i j = δ i j X i V a r ( X i ) = 1 D ( x , y ) x y C ( x , y $X_i$$X=(X_1,\dots,X_n)$$C_{ij}=\delta_{ij}$$X_i$$Var(X_i)=1$$D(x,y)$ $x$$y$$C(x,y)$

Vamos considerar o caso das duas variáveis. Vendo esta imagem de normal bivariada (obrigado @whuber), você não pode simplesmente afirmar que AB é maior que AC. Existe uma covariância positiva; as duas variáveis ​​estão relacionadas uma à outra.

Você pode aplicar medições euclidianas simples (linhas retas como AB e AC) somente se as variáveis ​​forem

1. independente
2. tem variações iguais a 1.

Essencialmente, a medida de distância de Mahalanobis faz o seguinte: transforma as variáveis ​​em variáveis ​​não correlacionadas com variações iguais a 1 e depois calcula a distância euclidiana simples.

Vou tentar explicá-lo da maneira mais simples possível:

A distância de Mahalanobis mede a distância de um ponto x de uma distribuição de dados. A distribuição dos dados é caracterizada por uma média e a matriz de covariância, sendo assim hipotetizada como uma gaussiana multivariada.

É usado no reconhecimento de padrões como medida de similaridade entre o padrão (distribuição de dados do exemplo de treinamento de uma classe) e o exemplo de teste. A matriz de covariância fornece a forma de como os dados são distribuídos no espaço de recursos.

A figura indica três classes diferentes e a linha vermelha indica a mesma distância de Mahalanobis para cada classe. Todos os pontos na linha vermelha têm a mesma distância da média da classe, pois é utilizada a matriz de covariância.

A principal característica é o uso da covariância como fator de normalização.

Gostaria de acrescentar um pouco de informação técnica à excelente resposta de Whuber. Essa informação pode não interessar à avó, mas talvez o neto a ache útil. A seguir, é apresentada uma explicação de baixo para cima da álgebra linear relevante.

$d(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}$$\Sigma$$\Sigma$$\Sigma$$\Sigma=Q^TDQ$$\Sigma^{-1}=QD^{-\frac{1}{2}}D^{-\frac{1}{2}}Q^T$$d(x,y)=\sqrt{\left[(x-y)^TQ\right]D^{-\frac{1}{2}}D^{-\frac{1}{2}}\left[Q^T(x-y)\right]}=\sqrt{z^Tz}$$Q$$(x-y)$$D^{-\frac{1}{2}}$$D^{-\frac{1}{2}}$$D^{-1}$$z^Tz$

Talvez eu esteja um pouco atrasado para responder a essa pergunta. Este artigo aqui é um bom começo para entender a distância de Mahalanobis. Eles fornecem um exemplo completo com valores numéricos. O que eu mais gosto é a representação geométrica do problema.

Apenas para acrescentar às excelentes explicações acima, a distância de Mahalanobis surge naturalmente na regressão linear (multivariada). Essa é uma consequência simples de algumas das conexões entre a distância de Mahalanobis e a distribuição gaussiana discutida nas outras respostas, mas acho que vale a pena explicar de qualquer maneira.

$(x_1, y_1), \ldots, (x_N, y_N)$$x_i \in \mathbb{R}^n$$y_i \in \mathbb{R}^m$$\beta_0 \in \mathbb{R}^m$$\beta_1 \in \mathbb{R}^{m \times n}$$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\epsilon_1, \ldots, \epsilon_N$$m$$0$$C$$x_i$$y_i$$x_i$$\beta_0 + \beta_1 x_i$$C$

$y_i$$x_i$$\beta = (\beta_0, \beta_1)$

$$\begin{equation} -\log p(y_i \mid x_i; \beta) = \frac{m}{2} \log (2\pi\det C) + \frac{1}{2} (y_i - (\beta_0 + \beta_1 x_i))^\top C^{-1} (y_i - (\beta_0 + \beta x_i)). \end{equation}$$ $C$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p(y_i \mid x_i; \beta)] = \operatorname{argmin}_\beta D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $$\begin{equation} D_C(\hat y, y) = \sqrt{(y - \hat y)^\top C^{-1} (y - \hat y)} \end{equation}$$ $\hat y, y \in \mathbb{R}^m$

Por independência, a probabilidade de de fornecida é dado pela soma Portanto, que o fator não afeta o argmin.$\log p({\bf y} \mid {\bf x}; \beta)$${\bf y} = (y_1, \ldots, y_N)$${\bf x} = (x_1, \ldots, x_N)$

$$\begin{equation} \log p({\bf y} \mid {\bf x}; \beta) = \sum_{i=1}^N \log p(y_i \mid x_i; \beta) \end{equation}$$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p({\bf y} \mid {\bf x}; \beta)] = \operatorname{argmin}_\beta \frac{1}{N} \sum_{i=1}^N D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $1/N$

Em resumo, os coeficientes que minimizam a probabilidade logarítmica negativa (ou seja, maximizam a probabilidade) dos dados observados também minimizam o risco empírico dos dados com função de perda dada pela distância de Mahalanobis.$\beta_0, \beta_1$

A distância de Mahalanobis é uma distância euclidiana (distância natural) que leva em consideração a covariância dos dados. Dá um peso maior ao componente barulhento e, portanto, é muito útil para verificar a similaridade entre dois conjuntos de dados.

Como você pode ver no seu exemplo aqui, quando as variáveis ​​são correlacionadas, a distribuição é deslocada em uma direção. Você pode remover esses efeitos. Se você levar em consideração a correlação à sua distância, poderá remover o efeito de mudança.