Eu sou muito novo em casamentos de palavras. Quero visualizar como os documentos estão cuidando da aprendizagem. Eu li que t-SNE é a abordagem para fazê-lo. Tenho 100 mil documentos com 250 dimensões como o tamanho da incorporação. Existem vários pacotes disponíveis também.
No entanto, para t-SNE, não sei quantas iterações ou o valor de alfa ou de perpexilidade devo manter para aprender melhor.
Estes são hiperparâmetros ou podem ser determinados por alguns atributos?
Respostas:
Eu recomendo o artigo Como usar o t-SNE efetivamente . Ele possui ótimas plotagens animadas do processo de adaptação do tsne e foi a primeira fonte que realmente me deu uma compreensão intuitiva do que o tsne faz.
Em um nível alto, perplexidade é o parâmetro que importa. É uma boa idéia experimentar a perplexidade de 5, 30 e 50 e observar os resultados.
Mas, falando sério, leia Como usar o t-SNE efetivamente. Isso tornará o uso do TSNE mais eficaz.
Para pacotes, use Rtsne em R ou sklearn.manifold.TSNE em python
Vou citar as perguntas frequentes do site t-SNE . Primeiro pela perplexidade:
Como devo definir a perplexidade no t-SNE?
O desempenho do t-SNE é bastante robusto sob diferentes configurações da perplexidade. O valor mais apropriado depende da densidade dos seus dados. Em termos gerais, pode-se dizer que um conjunto de dados maior / mais denso requer uma maior perplexidade. Os valores típicos para a perplexidade variam entre 5 e 50.
Para todos os outros parâmetros, eu consideraria ler isto:
Como posso avaliar a qualidade das visualizações que o t-SNE construiu?
De preferência, basta olhar para eles! Observe que t-SNE não retém distâncias, mas probabilidades, portanto, medir algum erro entre as distâncias euclidianas em D alto e D baixo é inútil. No entanto, se você usar os mesmos dados e perplexidade, poderá comparar as divergências de Kullback-Leibler relatadas pelo t-SNE. É perfeitamente adequado executar o t-SNE dez vezes e selecionar a solução com a menor divergência de KL.
Em outras palavras, significa: veja o gráfico, se a visualização for boa, não altere os parâmetros. Você também pode escolher a corrida com a menor divergência de KL para cada perplexidade fixa.