Compreendendo o uso de logaritmos no logaritmo TF-IDF

Eu estava lendo:

https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition

Mas não consigo entender exatamente por que a fórmula foi construída do jeito que é.

O que eu entendo:

A FDN deve, em algum nível, medir a frequência com que um termo S aparece em cada um dos documentos, diminuindo em valor à medida que o termo aparece com mais frequência.

Nessa perspectiva

$$iDF(S) = \frac{\# \text{ of Documents}}{\# \text{ of Documents containing S}}$$

Além disso, a frequência do termo pode ser corretamente descrita como

$$tf(S,D) = \frac{\# \ \text{of Occurrences of S in document D}}{\# \ \text{maximum number of occurrences for any string Q in document D}}$$

Então a medida

$$iDF(S) \times tf(S,D)$$

é, de alguma forma, proporcional à frequência com que um termo aparece em um determinado documento e a quão exclusivo esse termo é sobre o conjunto de documentos.

O que eu não entendo

Mas a fórmula dada a descreve como

$$\left( \log(iDF(S)) \right) \left( \frac{1}{2} + \log(\frac{1}{2} tf(S,D)) \right)$$

Desejo entender a necessidade dos logaritmos descritos na definição. Tipo, por que eles estão lá? Que aspecto eles enfatizam?

O aspecto enfatizado é que a relevância de um termo ou documento não aumenta proporcionalmente à frequência do termo (ou documento). O uso de uma função sub-linear, portanto, ajuda a despejar esse efeito. Nesse sentido, a influência de valores muito grandes ou muito pequenos (por exemplo, palavras muito raras) também é amortizada. Finalmente, como a maioria das pessoas percebe intuitivamente que as funções de pontuação são um tanto aditivas usando logaritmos, a probabilidade de termos independentes diferentes de parecerem mais com .$P(A, B) = P(A) \, P(B)$$\log(P(A,B)) = \log(P(A)) + \log(P(B))$

Como o artigo da Wikipedia que você vincula observa, a justificativa do TF-IDF ainda não está bem estabelecida; é / era uma heurística que queremos tornar rigorosa, não um conceito rigoroso que queremos transferir para o mundo real. Como mencionado por Anony-Mousse, como uma leitura muito boa sobre o assunto, é a Frequência de documentos inversos no entendimento de Robertson : sobre argumentos teóricos para a IDF . Ele fornece uma ampla visão geral de toda a estrutura e tenta fundamentar a metodologia TF-IDF na ponderação da relevância dos termos de pesquisa.