Perguntas com a marcação «nlp»

Alocação de Dirichlet Latente (LDA) e Processo de Dirichlet Hierárquico (HDP) são processos de modelagem de tópicos. A principal diferença é que o LDA requer a especificação do número de tópicos, e o HDP não. Por que? E quais são as diferenças, prós e contras dos dois métodos de modelagem …

49 nlp  topic-model  lda 

Quando digo "documento", tenho em mente páginas da web como artigos da Wikipedia e notícias. Prefiro respostas que ofereçam métricas de distância lexical de baunilha ou métricas de distância semântica de última geração, com maior preferência por essa última.

34 machine-learning  data-mining  nlp  text-mining  similarity 

Estou tentando treinar um modelo de aumento de gradiente com mais de 50 mil exemplos com 100 recursos numéricos. XGBClassifierlida com 500 árvores em 43 segundos na minha máquina, enquanto GradientBoostingClassifierlida com apenas 10 árvores (!) em 1 minuto e 2 segundos :( Não me preocupei em tentar cultivar 500 …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Note que estou fazendo tudo em R. O problema é o seguinte: Basicamente, eu tenho uma lista de currículos (CVs). Alguns candidatos terão experiência profissional antes e outros não. O objetivo aqui é: com base no texto em seus currículos, quero classificá-los em diferentes setores de trabalho. Sou particular naqueles …

28 machine-learning  classification  nlp  text-mining 

Dada uma frase como: Complimentary gym access for two for the length of stay ($12 value per person per day) Que abordagem geral posso adotar para identificar a palavra academia ou acesso à academia?

27 machine-learning  nlp  text-mining  data-cleaning 

Estou procurando usar a implementação word2vec do google para criar um sistema de reconhecimento de entidade nomeado. Ouvi dizer que as redes neurais recursivas com propagação reversa através da estrutura são adequadas para tarefas de reconhecimento de entidades nomeadas, mas não consegui encontrar uma implementação decente ou um tutorial decente …

25 machine-learning  python  neural-network  nlp 

Espero que você possa me ajudar, pois tenho algumas perguntas sobre este tópico. Sou novo no campo do aprendizado profundo e, embora tenha feito alguns tutoriais, não consigo relacionar ou distinguir conceitos um do outro.

24 machine-learning  data-mining  neural-network  nlp  deep-learning 

Eu sou novo no ML e esta é minha primeira pergunta aqui, desculpe se minha pergunta é boba. Estou tentando ler e entender o artigo Atenção é tudo o que você precisa e, nele, há uma figura: Não sei o que é codificação posicional . ouvindo alguns vídeos do youtube, …

23 nlp  encoding  attention-mechanism  transformer 

Isso é mais como uma pergunta geral da PNL. Qual é a entrada apropriada para treinar uma incorporação de palavras, ou seja, Word2Vec? Todas as frases pertencentes a um artigo devem ser um documento separado em um corpus? Ou cada artigo deve ser um documento no referido corpus? Este é …

22 nlp  word-embeddings 

Tentei carregar o modelo pré-treinado fastText a partir daqui, modelo Fasttext . Estou usando wiki.simple.en from gensim.models.keyedvectors import KeyedVectors word_vectors = KeyedVectors.load_word2vec_format('wiki.simple.bin', binary=True) Mas, mostra os seguintes erros Traceback (most recent call last): File "nltk_check.py", line 28, in <module> word_vectors = KeyedVectors.load_word2vec_format('wiki.simple.bin', binary=True) File "P:\major_project\venv\lib\sitepackages\gensim\models\keyedvectors.py",line 206, in load_word2vec_format header = …

21 nlp  gensim 

Dada uma frase: "Quando eu abrir a ?? porta que começa a aquecer automaticamente" Gostaria de obter a lista de possíveis palavras em ?? com uma probabilidade. O conceito básico usado no modelo word2vec é "prever" uma palavra, dada o contexto circundante. Depois que o modelo é construído, qual é …

20 nlp  predictive-modeling  word-embeddings 

Qual é a melhor maneira de descobrir a semelhança semântica das palavras? Word2Vec está bom, mas não é o ideal: # Using the 840B word Common Crawl GloVe vectors with gensim: # 'hot' is closer to 'cold' than 'warm' In [7]: model.similarity('hot', 'cold') Out[7]: 0.59720456121072973 In [8]: model.similarity('hot', 'warm') Out[8]: …

20 nlp  word-embeddings  word2vec  nltk 

Vi recentemente um recurso interessante que já estava disponível no Planilhas Google: você começa escrevendo algumas palavras-chave relacionadas em células consecutivas, diga: "azul", "verde", "amarelo" e gera automaticamente palavras-chave semelhantes (neste caso , outras cores). Veja mais exemplos neste vídeo do YouTube . Eu gostaria de reproduzir isso no meu …

19 nlp  text-mining  freebase 

Atualmente, estou procurando conjuntos de dados rotulados para treinar um modelo para extrair entidades nomeadas de texto informal (algo semelhante a tweets). Como muitas vezes faltam letras maiúsculas e minúsculas nos documentos do meu conjunto de dados, estou procurando dados fora do domínio um pouco mais "informais" do que os …

18 dataset  nlp 

Tendo muitos documentos de texto (em linguagem natural, não estruturados), quais são as maneiras possíveis de anotá-los com alguns metadados semânticos? Por exemplo, considere um pequeno documento: I saw the company's manager last day. Para poder extrair informações dele, ele deve ser anotado com dados adicionais para ser menos ambíguo. …

18 nlp  metadata  data-cleaning  text-mining