Ciência de dados nlp

1

Recentemente, deparei com os termos Word2Vec , Sentença2Vec e Doc2Vec e meio que confuso, pois sou novo na semântica de vetores. Alguém por favor pode elaborar as diferenças nesses métodos em palavras simples. Quais são as tarefas mais adequadas para cada método?

18 machine-learning data-mining clustering nlp unsupervised-learning

5

Melhor algoritmo prático para similaridade de sentenças

Eu tenho duas frases, S1 e S2, ambas com uma contagem de palavras (geralmente) abaixo de 15. Quais são os algoritmos mais úteis e bem-sucedidos (aprendizado de máquina), que são possivelmente fáceis de implementar (a rede neural é aceitável, a menos que a arquitetura seja tão complicada quanto o Google …

18 nlp clustering word2vec similarity

1

PNL - por que "não" é uma palavra de parada?

Estou tentando remover palavras de parada antes de executar a modelagem de tópicos. Notei que algumas palavras de negação (não, nem, nunca, nenhuma etc.) são geralmente consideradas palavras de parada. Por exemplo, NLTK, spacy e sklearn incluem "not" em suas listas de palavras de parada. No entanto, se removermos "não" …

18 nlp topic-model sentiment-analysis

4

Melhore a velocidade da implementação do t-sne em python para obter grandes dados

Eu gostaria de fazer uma redução de dimensionalidade em quase 1 milhão de vetores, cada um com 200 dimensões ( doc2vec). Estou usando a TSNEimplementação do sklearn.manifoldmódulo para ele e o grande problema é a complexidade do tempo. Mesmo com method = barnes_hut, a velocidade da computação ainda é baixa. …

18 python bigdata nlp scikit-learn dimensionality-reduction

2

PNL - O Gazetteer é um trapaceiro?

Na PNL, existe o conceito de Gazetteerque pode ser bastante útil para criar anotações. Tanto quanto eu entendo: Um gazetteer consiste em um conjunto de listas contendo nomes de entidades como cidades, organizações, dias da semana etc. Essas listas são usadas para encontrar ocorrências desses nomes no texto, por exemplo, …

16 nlp named-entity-recognition

2

Extrair as partes mais informativas do texto dos documentos

Existem artigos ou discussões sobre a extração de parte do texto que contêm mais informações sobre o documento atual. Por exemplo, eu tenho um grande corpus de documentos do mesmo domínio. Há partes do texto que contêm as principais informações sobre as quais um único documento fala. Quero extrair algumas …

16 nlp text-mining

5

aumentar o mapa de calor marítimo

Crio um corr()df a partir de um df original. O corr()df saiu 70 X 70 e é impossível de visualizar o mapa de calor ... sns.heatmap(df). Se eu tentar exibir corr = df.corr(), a tabela não se encaixa na tela e posso ver todas as correlações. É uma maneira de …

16 visualization pandas plotting machine-learning neural-network svm decision-trees svm efficiency python linear-regression machine-learning nlp topic-model lda named-entity-recognition naive-bayes-classifier association-rules fuzzy-logic kaggle deep-learning tensorflow inception classification feature-selection feature-engineering machine-learning scikit-learn tensorflow keras encoding nlp text-mining nlp rnn python neural-network feature-extraction machine-learning predictive-modeling python r linear-regression clustering r ggplot2 neural-network neural-network training python neural-network deep-learning rnn predictive-modeling databases sql programming distribution dataset cross-validation neural-network deep-learning rnn machine-learning machine-learning python deep-learning data-mining tensorflow visualization tools sql embeddings orange feature-extraction unsupervised-learning gan machine-learning python data-mining pandas machine-learning data-mining bigdata apache-spark apache-hadoop deep-learning python convnet keras aggregation clustering k-means r random-forest decision-trees reference-request visualization data pandas plotting neural-network keras rnn theano deep-learning tensorflow inception predictive-modeling deep-learning regression sentiment-analysis nlp encoding deep-learning python scikit-learn lda convnet keras predictive-modeling regression overfitting regression svm prediction machine-learning similarity word2vec information-retrieval word-embeddings neural-network deep-learning rnn

3

Qual é a diferença entre RNNs de geração de texto com base em palavras e em caracteres?

Ao ler sobre a geração de texto com redes neurais recorrentes, notei que alguns exemplos foram implementados para gerar texto palavra por palavra e outros, caractere por caractere, sem especificar o porquê. Então, qual é a diferença entre os modelos RNN que predizem texto por palavra e os que predizem …

15 machine-learning neural-network nlp rnn

4

Semelhança entre duas palavras

Estou procurando uma biblioteca Python que me ajude a identificar a semelhança entre duas palavras ou frases. Farei a conversão de áudio em texto, o que resultará em um dicionário em inglês ou em palavras que não sejam do dicionário (este pode ser um nome de pessoa ou empresa). Depois …

15 nlp nltk

5

Previsão de similaridade de sentença

Estou procurando resolver o seguinte problema: Eu tenho um conjunto de frases como meu conjunto de dados e desejo poder digitar uma nova frase e encontrar a frase em que a nova é a mais semelhante no conjunto de dados. Um exemplo seria semelhante a: Nova frase: " I opened …

15 python nlp scikit-learn similarity text

2

Quais recursos são geralmente usados nas árvores Parse no processo de classificação na PNL?

Estou explorando diferentes tipos de estruturas de árvores de análise. As duas estruturas de árvore de análise amplamente conhecidas são a) árvore de análise baseada em constituintes eb) estruturas de árvore de análise baseadas em dependência. Eu sou capaz de usar gerar dois tipos de estruturas de árvore de análise …

13 machine-learning nlp feature-selection feature-extraction

1

O que é uma camada convolucional 1D em aprendizado profundo?

Eu tenho uma boa compreensão geral do papel e mecanismo das camadas convolucionais no Deep Learning para processamento de imagens no caso de implementações 2D ou 3D - elas "simplesmente" tentam capturar padrões 2D nas imagens (em 3 canais no caso de 3D). Mas, recentemente, esbarrei em camadas convolucionais 1D …

13 deep-learning nlp convolution

4

Como inicializar um novo modelo word2vec com pesos pré-treinados?

Estou usando a Biblioteca Gensim em python para usar e treinar o modelo word2vector. Recentemente, eu estava olhando para inicializar meus pesos de modelo com algum modelo word2vec pré-treinado, como (modelo pré-treinado GoogleNewDataset). Eu tenho lutado com isso algumas semanas. Agora, acabei de pesquisar que no gesim existe uma função …

13 python nlp word-embeddings word2vec gensim

1

Então, qual é o problema com o LSTM?

Estou expandindo meu conhecimento do pacote Keras e tenho trabalhado com alguns dos modelos disponíveis. Eu tenho um problema de classificação binária da PNL que estou tentando resolver e tenho aplicado modelos diferentes. Depois de trabalhar com alguns resultados e ler mais e mais sobre LSTM, parece que essa abordagem …

12 neural-network nlp lstm recurrent-neural-net

4

Alternativas ao TF-IDF e Cosine Similarity ao comparar documentos de diferentes formatos

Estou trabalhando em um projeto pequeno e pessoal, que utiliza as habilidades profissionais de um usuário e sugere a carreira ideal para elas, com base nessas habilidades. Eu uso um banco de dados de listas de empregos para conseguir isso. No momento, o código funciona da seguinte maneira: 1) Processe …

12 nlp text-mining similarity cosine-distance

Perguntas com a marcação «nlp»