Perguntas com a marcação «natural-language»

Existem redes neurais recorrentes e redes neurais recursivas. Ambos são geralmente indicados pela mesma sigla: RNN. Segundo a Wikipedia , o NN recorrente é de fato o NN recursivo, mas eu realmente não entendo a explicação. Além disso, não acho o que é melhor (com exemplos ou mais) para o …

48 machine-learning  neural-networks  deep-learning  natural-language 

Eu quero aprender redes neurais. Sou lingüista computacional. Conheço abordagens estatísticas de aprendizado de máquina e posso codificar em Python. Pretendo começar com seus conceitos e conhecer um ou dois modelos populares que podem ser úteis do ponto de vista da Linguística Computacional. Naveguei na Web em busca de referências …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

Estou tentando entender qual é a semelhança entre Alocação de Dirichlet Latente e word2vec para calcular a similaridade de palavras. Pelo que entendi, o LDA mapeia palavras para um vetor de probabilidades de tópicos latentes , enquanto o word2vec as mapeia para um vetor de números reais (relacionado à decomposição …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

Como uso uma incorporação de palavras para mapear um documento para um vetor de recurso, adequado para uso com aprendizado supervisionado? Uma incorporação de palavra mapeia cada palavra para um vetor , onde é um número não muito grande (por exemplo, 500). Os casamentos populares de palavras incluem word2vec e …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

Depois de treinar vetores de palavras com o word2vec, é melhor normalizá-los antes de usá-los para alguns aplicativos a jusante? Ou seja, quais são os prós / contras de normalizá-los?

38 natural-language  word2vec  word-embeddings 

Entendo que os HMMs (modelos ocultos de Markov) são modelos generativos e os CRF são modelos discriminativos. Também entendo como os CRFs (campos aleatórios condicionais) são projetados e usados. O que eu não entendo é como eles são diferentes dos HMMs? Eu li que, no caso do HMM, só podemos …

33 machine-learning  hidden-markov-model  natural-language  conditional-random-field 

Estou usando o sinal de intercalação para executar uma floresta aleatória validada cruzada em um conjunto de dados. A variável Y é um fator. Não há NaN, Inf ou NA no meu conjunto de dados. No entanto, ao executar a floresta aleatória, recebo Error in randomForest.default(m, y, ...) : NA/NaN/Inf …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Idêntico significado, que irá produzir resultados idênticos para uma similaridade entre um Classificação do vetor u e um conjunto de vectores V . Eu tenho um modelo de espaço vetorial que tem como medida a distância (distância euclidiana, semelhança de cosseno) e a técnica de normalização (nenhuma, l1, l2). Pelo …

27 normalization  natural-language  euclidean  cosine-distance  cosine-similarity 

Modelos de tópicos populares como o LDA geralmente agrupam palavras que tendem a co-ocorrer juntas no mesmo tópico (cluster). Qual é a principal diferença entre esses modelos de tópicos e outras abordagens simples de cluster baseadas em co-ocorrência como o PMI? (PMI, sigla em inglês: Pointwise Mutual Information, e é …

26 machine-learning  text-mining  natural-language  topic-models 

Fiquei impressionado com os resultados no artigo da ICML 2014 " Representações distribuídas de frases e documentos " de Le e Mikolov. A técnica que eles descrevem, denominada "vetores de parágrafos", aprende representações não supervisionadas de parágrafos / documentos arbitrariamente longos, com base em uma extensão do modelo word2vec. O …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

Eu me pergunto por que o skip-gram é melhor para palavras pouco frequentes do que o CBOW no word2vec. Li a reivindicação em https://code.google.com/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

Atualmente, essa questão não se encaixa no nosso formato de perguntas e respostas. Esperamos que as respostas sejam apoiadas por fatos, referências ou conhecimentos, mas essa pergunta provavelmente solicitará debate, argumentos, pesquisas ou discussão prolongada. Se você acha que essa pergunta pode ser melhorada e possivelmente reaberta, visite o centro …

18 machine-learning  text-mining  natural-language 

Pelo que vi, a fórmula de suavização Kneser-Ney (de segunda ordem) é, de uma maneira ou de outra, dada como P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} com o fator de normalização fornecido comoλ(wn−1)λ(wn−1)\lambda(w_{n-1}) λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

Inspirado por essa pergunta , estou me perguntando se algum trabalho foi feito sobre modelos de tópicos para grandes coleções de textos extremamente curtos. Minha intuição é que o Twitter seja uma inspiração natural para esses modelos. No entanto, a partir de algumas experiências limitadas, parece que os modelos de …

14 references  text-mining  topic-models  natural-language 

Ao fazer o processamento da linguagem natural, pode-se pegar um corpus e avaliar a probabilidade da próxima palavra ocorrer em uma sequência de n. n é geralmente escolhido como 2 ou 3 (bigrams e trigramas). Existe um ponto conhecido em que o rastreamento dos dados para a enésima cadeia se …

13 text-mining  natural-language