Como posso converter a distância (euclidiana) em pontuação de similaridade

13

Estou usando $k$ significa agrupar para agrupar as vozes dos alto-falantes. Quando comparo um enunciado com os dados do alto-falante em cluster, obtenho distorção média (baseada na distância euclidiana). Essa distância pode estar na faixa de $[0,\infty]$ . Eu quero converter essa distância para uma pontuação de similaridade $[0,1]$ . Por favor, me guie sobre como eu posso conseguir isso.

— Maomé
fonte

15

Se $d(p_1,p_2)$ representa a distância euclidiana do ponto $p_1$ ao ponto $p_2$ ,

\frac{1}{1 + d (p_{1}, p_{2})}

$\frac{1}{1 + d(p_1, p_2)}$

é comumente usado.

— TrynnaDoStat
fonte

Por favor me corrijam se eu estiver errado, se temos

e

onde cada

e

é de dimensão

. Então podemos definir semelhanças, como

X = (x_{1}, x_{2}, x_{3}, . . ., x_{t})

$X = (x_1,x_2,x_3,...,x_t)$

Y = (Y_{1}, Y_{2}, Y_{3}, . . ., Y_{n})

$Y = (Y_1,Y_2,Y_3,...,Y_n)$

x

$x$

y

$y$

D

$D$

.

S i m i l a r i t y = \frac{1}{t} \sum_{i = 1}^{t} \frac{1}{1 + m i n D i s t a n c e (x_{i}, Y)}

$Similarity = \frac{1}{t} \sum\limits_{i=1}^t \frac{1}{ 1+ minDistance(x_i, Y)}$

— Muhammad

Entendo que o mais 1 no denominador é evitar dividir por erro zero. Mas descobri que o valor mais um afeta desproporcionalmente os valores de d (p1, p2) maiores que 1 e, finalmente, reduz significativamente a pontuação de similaridade. Há outra maneira de fazer isso? Talvez s = 1-d (p1, p2)

— aamir23

9

Você também pode usar: ondeé a sua função distância desejada. $\frac{1}{e^{dist}}$ dist

— Exceção não tratada
fonte

Você pode fornecer algum livro / documentação de referência relacionados a esta equação em que você a encontrou? @Dougal

— Justlife

@AnimeshKumarPaul Não escrevi esta resposta, apenas aprimorei sua formatação. Mas é freqüentemente usado como uma versão, por exemplo, de um "kernel RBF generalizado"; veja por exemplo aqui . Essa questão diz respeito à questão de saber se a saída é um kernel definido positivo; se você não se importa com isso, pelo menos, satisfaz uma noção intuitiva de similaridade de que pontos mais distantes são menos semelhantes.

— Dougal

@ Justlife: pesquise no Google por esta "enciclopédia de distâncias" e escolha o resultado com o documento pdf.

— Exceção não tratada

6

Parece que você deseja algo semelhante à semelhança de cosseno, que é em si uma pontuação de similaridade no intervalo de unidade. De fato, existe uma relação direta entre distância euclidiana e semelhança de cosseno!

| | x - x^{'} | |^{2} = (x - x^{'})^{T} (x - x^{'}) = | | x | | + | | x^{'} | | - 2 | | x - x^{'} | | .

$||x-x^\prime||^2=(x-x^\prime)^T(x-x^\prime)=||x||+||x^\prime||-2||x-x^\prime||.$

While cosine similarity is

f (x, x^{'}) = \frac{x^{T} x^{'}}{| | x | | | | x^{'} | |} = \cos (θ)

$f(x,x^\prime)=\frac{x^T x^\prime}{||x||||x^\prime||}=\cos(\theta)$

θ

$\theta$

x

$x$

x^{'}

$x^\prime$

$||x||=||x^\prime||=1,$

| | x - x^{'} | |^{2} = 2 (1 - f (x, x^{'}))

$||x-x^\prime||^2=2(1-f(x,x^\prime))$ and

f (x, x^{'}) = x^{T} x^{'},

$f(x,x^\prime)=x^T x^\prime,$

so

1 - \frac{| | x - x^{'} | |^{2}}{2} = f (x, x^{'}) = \cos (θ)

$1-\frac{||x-x^\prime||^2}{2}=f(x,x^\prime)=\cos(\theta)$ in this special case.

From a computational perspective, it may be more efficient to just compute the cosine, rather than Euclidean distance and then perform the transformation.

— Sycorax says Reinstate Monica
fonte

I'm confused by your notation here. Is

‖ x, x^{'} ‖^{2}

$\lVert x, x' \rVert^2$ supposed to be

‖ x - x^{'} ‖^{2}

$\lVert x - x' \rVert^2$ (in which case I think the relation is incorrect, as it doesn't account for

‖ x ‖

$\lVert x \rVert$ or

‖ x^{'} ‖

$\lVert x' \rVert$ ), or something based on

⟨ x, x^{'} ⟩

$\langle x, x' \rangle$ ? The cosine similarity I'm familiar with is simply

x^{T} x^{'} / (‖ x ‖ ‖ x^{'} ‖)

$x^T x' / (\lVert x \rVert \lVert x' \rVert)$ , though Wikipedia says the "angular similarity"

1 - \frac{2}{π} \frac{x^{T} x^{'}}{‖ x ‖ ‖ x^{'} ‖}

$1 - \frac2\pi \frac{x^T x'}{\lVert x \rVert \lVert x' \rVert}$ is also sometimes called that.

— Dougal

@Dougal Blah. Correct. I've revised to make it intelligible.

— Sycorax says Reinstate Monica

Cool. Note though that since the OP said distances are unbounded, it seems like we don't have

‖ x ‖ = 1

$\lVert x \rVert = 1$ . Also, your expansion of

‖ x - x^{'} ‖^{2}

$\lVert x - x' \rVert^2$ is mistaken; it should be

‖ x ‖^{2} + ‖ x^{'} ‖^{2} - 2 x^{T} x^{'}

$\lVert x \rVert^2 + \lVert x' \rVert^2 - 2 x^T x'$ , though the rest of your post handles it correctly. :)

— Dougal

3

How about a Gaussian kernel ?

$K(x, x') = \exp\left( -\frac{\| x - x' \|^2}{2\sigma^2} \right)$

The distance $\|x - x'\|$ is used in the exponent. The kernel value is in the range $[0, 1]$ . There is one tuning parameter $\sigma$ . Basically if $\sigma$ is high, $K(x, x')$ will be close to 1 for any $x, x'$ . If $\sigma$ is low, a slight distance from $x$ to $x'$ will lead to $K(x,x')$ being close to 0.

— wij
fonte

1

Note that this answer and @Unhandled exception's are very related: this is

\exp (- γ d (x, x^{'})^{2})

$\exp\left( - \gamma d(x, x')^2 \right)$ , where that one [introducing a scaling factor] is

\exp (- γ d (x, x^{'}))

$\exp\left( - \gamma d(x, x') \right)$ , a Gaussian kernel with

\sqrt{d}

$\sqrt{d}$ as the metric. This will still be a valid kernel, though the OP doesn't necessarily care about that.

— Dougal

0

If you are using a distance metric that is naturally between 0 and 1, like Hellinger distance. Then you can use 1 - distance to obtain similarity.

— Brad
fonte