Perguntas com a marcação «natural-language»

Tentando entender a relação entre entropia cruzada e perplexidade. Em geral, para um modelo M , Perplexidade (M) = 2 ^ entropia (M) . Essa relação vale para todos os n-gramas diferentes, como unigrama, bigram etc.?

10 natural-language  entropy  perplexity 

De acordo com a documentação da removeSparseTermsfunção do tmpacote, é isso que a escarsidade implica: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix contains only terms …

10 r  text-mining  natural-language 

Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última camada. …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Meu livro lista o idf como em quelog(1+Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) NNN : Número de documentos ntntn_t : Número de documentos que contêm o termottt A Wikipedia lista essa fórmula como uma versão real . Aquele que eu entendo: varia de a que parece intuitivo. Mas passa de para que parece tão estranho …

9 text-mining  natural-language  smoothing 

Minha pergunta é geralmente sobre Decomposição de Valor Singular (SVD), e particularmente sobre Indexação Semântica Latente (LSI). Digamos, eu tenho que contém frequências de 5 palavras para 7 documentos.Aword×documentAword×document A_{word \times document} A = matrix(data=c(2,0,8,6,0,3,1, 1,6,0,1,7,0,1, 5,0,7,4,0,5,6, 7,0,8,5,0,8,5, 0,10,0,0,7,0,0), ncol=7, byrow=TRUE) rownames(A) <- c('doctor','car','nurse','hospital','wheel') Fico Fatorização matriz para usando SVD: …

9 r  svd  natural-language  latent-semantic-indexing 

Não tenho certeza se esta pergunta é totalmente apropriada aqui; caso contrário, exclua. Eu sou um estudante de graduação em economia. Para um projeto que investiga questões de seguros sociais, tenho acesso a um grande número de relatórios de casos administrativos (> 200k) que lidam com avaliações de elegibilidade. Esses …

9 machine-learning  data-mining  econometrics  text-mining  natural-language 

Inicialmente, eu perguntei isso no estouro de pilha e fui encaminhado para este site, então aqui vai: Estou implementando alguns métodos não supervisionados de resumo de documentos com base na seleção / extração de conteúdo e estou confuso sobre o que meu livro chama de "razão de probabilidade de log". …

9 natural-language  text-summarization 

Estou lendo este artigo: tradutor skype onde eles usam CD-DNN-HMMs (redes neurais profundas dependentes de contexto com modelos de Markov ocultos). Eu posso entender a idéia do projeto e a arquitetura que eles projetaram, mas não entendo o que são os senones . Estive procurando uma definição, mas não encontrei …

9 neural-networks  deep-learning  terminology  natural-language  hidden-markov-model 

Nos modelos CBOW e skip-gram do word2vec, como a escolha de vetores de palavras de (matriz de palavras de entrada) versus a escolha de vetores de palavras de (matriz de palavras de saída) afeta a qualidade dos vetores de palavras resultantes?W ′WWWW′W′W' CBOW: Skip-gram:

9 neural-networks  natural-language  word2vec  word-embeddings 

Quero treinar uma rede neural com uma sequência de caracteres como um vetor de entrada. Os exemplos de aprendizado têm duração diferente e, por esse motivo, não sei como representá-los. Digamos que eu tenha dois exemplos de sequências, aqui os nomes: john doe maurice delanoe O primeiro exemplo é de …

9 machine-learning  neural-networks  feature-selection  natural-language 

Eu quero realizar análises de sentimentos em textos, já passei por vários artigos, alguns deles estão usando "Naive Bayes" e outros são "Rede Neural Recorrente (LSTM)" , por outro lado, vi uma biblioteca python para análise de sentimentos que é nltk. Ele usa "Naive Bayes" alguém pode explicar qual é …

8 machine-learning  neural-networks  python  natural-language 

Estou computando algumas probabilidades condicionais e intervalos de confiança associados a 95%. Para muitos de meus casos, tenho contagens diretas de xsucessos fora dos ntestes (de uma tabela de contingência), para que eu possa usar um intervalo de confiança binomial, como é fornecido por binom.confint(x, n, method='exact')in R. Em outros …

8 r  bayesian  confidence-interval  conditional-probability  hidden-markov-model  segmentation  hypothesis-testing  statistical-significance  multiple-comparisons  multiple-regression  r  regression  survey  sample  finite-population  pca  model-selection  dataset  partitioning  clustering  time-series  least-squares  regression  standard-error  causality  r  time-series  outliers  missing-data  machine-learning  svm  hypothesis-testing  discrete-data  r  data-visualization  survey  likert  finance  regression  pca  feature-selection  stepwise-regression  underdetermined  svm  natural-language 

Em muitas aplicações de processamento de linguagem natural, como correção ortográfica, tradução automática e reconhecimento de fala, usamos modelos de linguagem. Os modelos de linguagem são criados geralmente contando com que frequência as seqüências de palavras (n-gramas) ocorrem em um corpus grande e normalizando as contagens para criar uma probabilidade. …

8 distributions  modeling  natural-language  language-models 

Li este artigo de Michael Honiball (criador de Spacy), no qual ele fala sobre o problema do 'Esquecimento Catastrófico' . Aqui, ele diz que, quando queremos ajustar um modelo pré-treinado para adicionar um novo rótulo ou corrigir alguns erros específicos, ele pode introduzir o problema do 'Esquecimento Catastrófico' (perde sua …

8 deep-learning  natural-language 

Eu estava lendo o modelo word2vec padrão / famoso e de acordo com as notas do standord para cs224n, a função objetivo muda de: Joriginal=−∑j=0,j≠m2mu⊤c−m+jvc+2mlog(∑k=1|V|exp(u⊤kvc))Joriginal=−∑j=0,j≠m2muc−m+j⊤vc+2mlog(∑k=1|V|exp(uk⊤vc))J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c + 2m log \left( \sum^{|V|}_{k=1} exp(u^{\top}_k v_c) \right) para: JNS1=−logσ(u⊤c−m+jvc)−∑k=1Klogσ(−u⊤kvc)JNS1=−logσ(uc−m+j⊤vc)−∑k=1Klogσ(−uk⊤vc)J_{NS1} = -log \sigma( u^\top_{c-m+j} v_c ) - \sum^{K}_{k=1} log \sigma( …

8 neural-networks  deep-learning  natural-language  word2vec  word-embeddings