Como medir a dispersão nos dados de frequência de palavras?

Como quantificar a quantidade de dispersão em um vetor de contagem de palavras? Estou procurando uma estatística que seja alta para o documento A, porque contém muitas palavras diferentes que ocorrem com pouca frequência e baixa para o documento B, porque contém uma palavra (ou algumas palavras) que ocorrem com frequência.

De maneira mais geral, como se mede a dispersão ou "propagação" nos dados nominais?

Existe uma maneira padrão de fazer isso na comunidade de análise de texto?

Para probabilidades (proporções ou ações) somando 1, a família encapsula várias propostas de medidas (índices, coeficientes, qualquer que seja) neste território. portanto ∑ p a i [ ln ( 1 / p i ) ] $p_i$$\sum p_i^a [\ln (1/p_i)]^b$

1. $a = 0, b = 0$ retorna o número de palavras distintas observadas, que é a mais simples de se pensar, independentemente de ignorar as diferenças entre as probabilidades. Isso é sempre útil apenas como contexto. Em outros campos, esse pode ser o número de empresas em um setor, o número de espécies observadas em um local e assim por diante. Em geral, vamos chamar isso de número de itens distintos .

2. 1 - Σ p 2 i 1 / Σ p 2 i k 1 / k Σ p 2 i = K ( 1 / k ) 2 = 1 / k $a = 2, b = 0$ retorna a soma das probabilidades quadradas de Gini-Turing-Simpson-Herfindahl-Hirschman-Greenberg, também conhecida como taxa de repetição ou pureza ou probabilidade de correspondência ou homozigose. É frequentemente relatado como seu complemento ou recíproco, às vezes sob outros nomes, como impureza ou heterozigose. Nesse contexto, é a probabilidade de que duas palavras selecionadas aleatoriamente sejam iguais, e seu complemento a probabilidade de que duas palavras sejam diferentes. O recíproco tem uma interpretação como o número equivalente de categorias igualmente comuns; isso às vezes é chamado de número equivalente. Essa interpretação pode ser vista observando que categorias igualmente comuns (cada probabilidade assim$1 - \sum p_i^2$$1 / \sum p_i^2$$k$$1/k$ ) implica modo que o recíproco da probabilidade é apenas . Escolher um nome provavelmente trai o campo em que você trabalha. Cada campo honra seus próprios antepassados, mas recomendo que a probabilidade de correspondência seja simples e quase autodefinida.$\sum p_i^2 = k (1/k)^2 = 1/k$$k$

3. H exp ( H ) k H = ∑ k ( 1 / k ) ln [ 1 / ( 1 / k ) ] = ln k exp ( H ) = exp ( ln k ) $a = 1, b = 1$ retorna a entropia de Shannon, frequentemente denotada e já sinalizada direta ou indiretamente nas respostas anteriores. O nome entropia ficou aqui, por uma mistura de excelentes e não tão boas razões, até ocasionalmente inveja da física. Observe que é o número equivalente para essa medida, conforme observado em estilo semelhante que categorias igualmente comuns produzem e, portanto, devolve . A entropia tem muitas propriedades esplêndidas; "teoria da informação" é um bom termo de pesquisa.$H$$\exp(H)$$k$$H = \sum^k (1/k) \ln [1/(1/k)] = \ln k$$\exp(H) = \exp(\ln k)$$k$

A formulação é encontrada em IJ Good. 1953. Frequências populacionais de espécies e estimativa de parâmetros populacionais. Biometrika 40: 237-264. www.jstor.org/stable/2333344 .

Outras bases para o logaritmo (por exemplo, 10 ou 2) são igualmente possíveis de acordo com o gosto ou precedente ou conveniência, com apenas variações simples implícitas para algumas fórmulas acima.

As redescobertas independentes (ou reinvenções) da segunda medida são múltiplas em várias disciplinas e os nomes acima estão longe de ser uma lista completa.

Amarrar medidas comuns em uma família não é apenas levemente atraente matematicamente. Sublinha que existe uma escolha de medida dependendo dos pesos relativos aplicados a itens escassos e comuns e, portanto, reduz qualquer impressão de adhockery criada por uma pequena profusão de propostas aparentemente arbitrárias. A literatura em alguns campos é enfraquecida por papéis e até livros baseados em alegações tênues de que alguma medida favorecida pelo (s) autor (es) é a melhor medida que todos deveriam usar.

Meus cálculos indicam que os exemplos A e B não são tão diferentes, exceto na primeira medida:

----------------------------------------------------------------------
          |  Shannon H      exp(H)     Simpson   1/Simpson      #items
----------+-----------------------------------------------------------
        A |      0.656       1.927       0.643       1.556          14
        B |      0.684       1.981       0.630       1.588           9 
----------------------------------------------------------------------

(Alguns podem estar interessados ​​em observar que o Simpson nomeado aqui (Edward Hugh Simpson, 1922-) é o mesmo que o homenageado pelo paradoxo do nome Simpson. Ele fez um excelente trabalho, mas não foi o primeiro a descobrir qualquer coisa para a qual ele é nomeado, que por sua vez é o paradoxo de Stigler, que por sua vez ...)

Não sei se existe uma maneira comum de fazê-lo, mas isso me parece análogo às questões de desigualdade na economia. Se você tratar cada palavra como um indivíduo e sua contagem como comparável à renda, estará interessado em comparar onde o conjunto de palavras está entre os extremos de cada palavra com a mesma contagem (igualdade completa) ou uma palavra com todas as contagens e todo mundo zero. A complicação é que os "zeros" não aparecem, você não pode ter menos de uma contagem de 1 em um saco de palavras, como geralmente definido ...

O coeficiente de Gini de A é 0,18 e de B é 0,43, o que mostra que A é mais "igual" que B.

library(ineq)

A <- c(3, 2, 2, rep(1, 11))
B <- c(9, 2, rep(1, 7))
Gini(A)
Gini(B)

Também estou interessado em outras respostas. Obviamente, a variação antiquada nas contagens também seria um ponto de partida, mas você teria que escalá-la de alguma forma para torná-la comparável para sacos de tamanhos diferentes e, portanto, contagens médias diferentes por palavra.

Este artigo tem uma revisão das medidas de dispersão padrão usadas pelos linguistas. Eles são listados como medidas de dispersão de palavra única (medem a dispersão de palavras entre seções, páginas etc.), mas podem ser concebivelmente usados ​​como medidas de dispersão de frequência de palavras. Os estatísticos padrão parecem ser:

1. max-min
2. desvio padrão
3. $CV$
4. $\chi^2$

Os clássicos são:

1. $D = 1-\frac{CV}{\sqrt{n-1}}$
2. $S = N\frac{(\sum_{i=1}^{n}\sqrt{n_i})^2}{n}$
3. $D_2 = (\log_2N - \frac{\sum_{i=1}^n{n_i \log_2 n_i}}{N})/{\log_2(n)}$
4. $D_3 = \frac{1-\chi^2}{4N}$

$N$$n$$n_i$

O texto também menciona mais duas medidas de dispersão, mas elas se baseiam no posicionamento espacial das palavras, portanto isso é inaplicável ao modelo de saco de palavras.

• Nota : Alterei a notação original do artigo, para tornar as fórmulas mais consistentes com a notação padrão.

O primeiro que eu faria é calcular a entropia de Shannon. Você pode usar o pacote de R infotheo, a função entropy(X, method="emp"). Se você o envolver natstobits(H), obterá a entropia dessa fonte em bits.

$\boldsymbol{p} \equiv (p_1, ... , p_n)$

$0 \leqslant \bar{H}(\boldsymbol{p}) \leqslant 1$

• Desigualdade extrema: toda a contagem está em alguma categoria . Nesse caso, temos e isso nos dá .p i = I ( i = k ) ˉ H ( p ) = $k$$p_i = \mathbb{I}(i=k)$$\bar{H}(\boldsymbol{p}) = 0$

• Igualdade extrema: todas as contagens são iguais em todas as categorias. Nesse caso, temos e isso nos dá .ˉ H ( p ) = $p_i = 1/n$$\bar{H}(\boldsymbol{p}) = 1$