Perguntas com a marcação «deep-learning»

Eu estava lendo o modelo word2vec padrão / famoso e de acordo com as notas do standord para cs224n, a função objetivo muda de: Joriginal=−∑j=0,j≠m2mu⊤c−m+jvc+2mlog(∑k=1|V|exp(u⊤kvc))Joriginal=−∑j=0,j≠m2muc−m+j⊤vc+2mlog(∑k=1|V|exp(uk⊤vc))J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c + 2m log \left( \sum^{|V|}_{k=1} exp(u^{\top}_k v_c) \right) para: JNS1=−logσ(u⊤c−m+jvc)−∑k=1Klogσ(−u⊤kvc)JNS1=−logσ(uc−m+j⊤vc)−∑k=1Klogσ(−uk⊤vc)J_{NS1} = -log \sigma( u^\top_{c-m+j} v_c ) - \sum^{K}_{k=1} log \sigma( …

8 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Eu costumava treinar meu modelo na minha máquina local, onde a memória é suficiente apenas para 10 exemplos por lote. No entanto, quando eu migrei meu modelo para a AWS e usei uma GPU maior (Tesla K80), eu poderia acomodar um tamanho de lote de 32. No entanto, todos os …

8 machine-learning  deep-learning  computer-vision 

No artigo da rede neural totalmente convolucional , os autores mencionam tanto o treinamento inteligente quanto o treinamento totalmente convolucional. Meu entendimento para a construção do conjunto de treinamento é o seguinte: Dada uma M*Mimagem, extraia as sub-imagens com N*N, where ( N<M). As sub-imagens selecionadas são sobrepostas com outras. …

8 machine-learning  deep-learning  data-mining  conv-neural-network  computer-vision 

Esta pergunta é referente ao documento Deepmind sobre DDPG: https://arxiv.org/pdf/1509.02971v5.pdf . A maioria (todas?) Das implementações do algoritmo DDPG que eu vi computam a atualização do gradiente na rede do ator por ∇(J)=∇μ(s|θ)(Q(s,μ(s|θ))∇θ(μ(s|θ))∇(J)=∇μ(s|θ)(Q(s,μ(s|θ))∇θ(μ(s|θ))\nabla(J)=\nabla_{\mu(s|\theta)}(Q(s,\mu(s|\theta))\nabla_{\theta}(\mu(s|\theta)), Onde θθ\theta representa os parâmetros da rede de atores, μμ\mu representa a rede de atores, QQQ representa …

8 machine-learning  neural-networks  deep-learning  reinforcement-learning 

Encontrei em algum lugar que o conjunto de testes não deve ser usado como um conjunto de validação. Por quê? O conjunto de validação é acionado quando os parâmetros do modelo são fixados e o aprendizado ocorre apenas através do backprop no lote de treinamento. Então, por que não posso …

8 machine-learning  neural-networks  cross-validation  deep-learning 

Estou tentando entender o artigo da openAI chamado Multi-Agent Actor-Critic for Ambients Mixed Cooperative-Competitive No artigo, eles mencionam que combatem o problema da não estacionariedade do ambiente por amostragem de sub-políticas: Estou confuso sobre: ​​(1) como a subamostragem resolveria o problema da não estacionariedade e (2) por que os agentes …

7 machine-learning  deep-learning  reinforcement-learning 

Li que é benéfico aplicar certas transformações de recursos comuns nos conjuntos de dados antes que eles atinjam os modelos de aprendizado de máquina. Eles são baseados nas distribuições dos recursos do conjunto de dados; por exemplo, aplicar transformações de log a recursos normalmente distribuídos inclinados. Alguns exemplos aqui . …

7 neural-networks  deep-learning  data-transformation 

Nos últimos anos, o campo de detecção de objetos sofreu um grande avanço após a popularização do paradigma Deep Learning. Abordagens como YOLO, SSD ou FasterRCNN mantêm o estado da arte na tarefa geral de detecção de objetos [ 1 ]. No entanto, no cenário específico do aplicativo em que …

7 neural-networks  deep-learning  image-processing  computer-vision  object-detection 

Em 2015, Tishby e Zaslavsky publicaram um artigo bem conhecido, alegando que o chamado Princípio do Gargalo da Informação poderia ser usado para entender algum comportamento de redes neurais profundas. Em um artigo mais recente (abril de 2017) , Schwartz-Ziv e Tishby expandem essas reivindicações, visualizando em particular alguns dos …

7 neural-networks  references  deep-learning  information-theory 

Suponha que eu tenha um texto como o abaixo, que geralmente tem 2/3 frases e 100-200 caracteres. Johny comprou leite de 50 dólares do walmart. Agora ele deixou apenas 20 dólares. Eu quero extrair Nome da pessoa: Johny Gasto: 50 dólares Dinheiro restante: 20 dólares. Passado para onde: Walmart. Passei …

7 machine-learning  deep-learning  data-mining  text-mining  rnn 

Estou lendo Por que o Momentum Really Works , um post do novo diário de destilação. Parafraseando as principais equações que levam à parte que me confunde, o post descreve a intuição em mais detalhes. O algoritmo de descida de gradiente é dado pelo seguinte processo iterativo wk+1=wk−α∇f(wk)wk+1=wk−α∇f(wk)w^{k+1} = w^k-\alpha …

7 machine-learning  optimization  deep-learning 

Eu estava lendo este livro sobre aprendizado profundo de Ian e Aron. Na descrição do DBN, eles dizem que o DBN caiu em desuso e raramente é usado. Redes de crenças profundas demonstraram que arquiteturas profundas podem ser bem-sucedidas, superando as máquinas de vetores de suporte kernelizadas no conjunto de …

7 machine-learning  deep-learning  deep-belief-networks 

O ensino a distância baseado em trigêmeos para reconhecimento facial parece muito eficaz. Estou curioso sobre um aspecto particular do artigo. Como parte de encontrar uma incorporação para um rosto, os autores normalizam as unidades ocultas usando a normalização L2, que restringe a representação a uma hiperesfera. Por que isso …

7 neural-networks  deep-learning  normalization  image-processing 

Pelo que entendi, existem três abordagens principais para a redução não linear da dimensionalidade: Aprendizagem múltipla (algoritmos geométricos / topológicos como ISOMAP, LLE, LTSA) Autoencoders coisas que não se encaixam nas duas primeiras categorias (t-SNE inspirado em probabilidade, Kernel PCA, etc.) Quais são os benefícios e as desvantagens das duas …

7 machine-learning  deep-learning  dimensionality-reduction  autoencoders  manifold-learning 

A rede neural conhecida como " U-Net " (Ronneberger, Fischer e Brox 2015) foi uma técnica proeminente no recente concurso de Segmentação de Nervos por Ultrassom da Kaggle , onde pontuações altas foram atribuídas a algoritmos que criaram máscaras de pixel com alto grau de sobreposição. as regiões desenhadas à …

7 neural-networks  deep-learning  biostatistics  conv-neural-network  image-processing