Classificação do documento: tf-idf antes ou depois da filtragem de recursos?

Tenho um projeto de classificação de documentos em que estou obtendo o conteúdo do site e depois atribuindo um dos vários rótulos ao site de acordo com o conteúdo.

Eu descobri que o tf-idf poderia ser muito útil para isso. No entanto, eu não tinha certeza de quando exatamente usá-lo.

Supondo que um site que se preocupe com um tópico específico faça menção repetida, esse foi o meu processo atual:

1. Recuperar conteúdo do site, analisar o texto sem formatação
2. Normalizar e conter o conteúdo
3. Tokenize em unigramas (talvez bigrams também)
4. Recupere uma contagem de cada unigrama para o documento fornecido, filtrando palavras de tamanho baixo e de ocorrência baixa
5. Treine um classificador como NaiveBayes no conjunto resultante

Minha pergunta é a seguinte: Onde o tf-idf se encaixaria aqui ? Antes de normalizar / stemming? Depois de normalizar, mas antes de tokenizar? Depois de tokenizar?

Qualquer insight seria muito apreciado.

Editar:

Após uma inspeção mais minuciosa, acho que posso ter entendido mal como o TF-IDF opera. Na etapa acima de 4 que eu descrevo, eu teria que alimentar a totalidade dos meus dados em TF-IDF de uma vez? Se, por exemplo, meus dados forem os seguintes:

[({tokenized_content_site1}, category_string_site1), 
 ({tokenized_content_site2}, category_string_site2), 
...
 ({tokenized_content_siten}, category_string_siten)}]

Aqui, a estrutura mais externa é uma lista, contendo tuplas, contendo um dicionário (ou mapa de hash) e uma string.

Eu teria que alimentar a totalidade desses dados na calculadora TF-IDF de uma vez para alcançar o efeito desejado? Especificamente, observei o TfidfVectorizer do scikit -learn para fazer isso, mas estou um pouco inseguro quanto ao seu uso, pois os exemplos são escassos.

Como você descreveu, a Etapa 4 é onde você deseja usar o TF-IDF. Essencialmente, o TD-IDF contará cada termo em cada documento e atribuirá uma pontuação, dada a frequência relativa na coleção de documentos.

No entanto, há um grande passo faltando no seu processo: anotando um conjunto de treinamento. Antes de treinar seu classificador, você precisará anotar manualmente uma amostra de seus dados com os rótulos que deseja aplicar automaticamente usando o classificador.

Para facilitar tudo isso, considere usar o Classificador Stanford . Ele executará a extração do recurso e criará o modelo do classificador (suportando vários algoritmos diferentes de aprendizado de máquina), mas você ainda precisará anotar os dados do treinamento manualmente.