Perguntas com a marcação «deep-learning»

Eu estava lendo o livro de Yoshua Bengio sobre aprendizado profundo e está escrito na página 224: As redes convolucionais são simplesmente redes neurais que usam a convolução no lugar da multiplicação geral da matriz em pelo menos uma de suas camadas. no entanto, eu não tinha 100% de certeza …

13 machine-learning  neural-networks  deep-learning  convolution 

Recentemente, li um artigo de Yann Dauphin et al. Identificando e atacando o problema do ponto de sela na otimização não convexa de alta dimensão , onde eles introduzem um interessante algoritmo de descida chamado Saddle-Free Newton , que parece ser exatamente adaptado para otimização de rede neural e não …

13 optimization  deep-learning  gradient-descent 

Existem grupos de pesquisa trabalhando no aprendizado profundo para problemas de otimização combinatória?

13 optimization  deep-learning 

Existe alguma literatura que examine a escolha do tamanho de minibatch ao realizar a descida do gradiente estocástico? Na minha experiência, parece ser uma escolha empírica, geralmente encontrada por meio de validação cruzada ou usando regras práticas variadas. É uma boa ideia aumentar lentamente o tamanho do minibatch à medida …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

A topologia do modelo do Google Inception pode ser encontrada aqui: Google Inception Netowrk Percebi que há 3 camadas de softmax neste modelo (# 154, # 152, # 145) e duas delas são algum tipo de fuga precoce desse modelo. Pelo que sei, a camada softmax é para saída final, …

13 deep-learning  conv-neural-network 

É possível ter pesos negativos (após épocas suficientes) para redes neurais convolucionais profundas quando usamos ReLU para todas as camadas de ativação?

13 machine-learning  neural-networks  deep-learning  conv-neural-network 

Como a camada de incorporação é treinada na camada de incorporação Keras? (digamos, usando back-end tensorflow, o que significa que é semelhante ao word2vec, glove ou fasttext) Suponha que não usamos uma incorporação pré-treinada.

13 deep-learning  keras  word-embeddings 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 9 meses . Eu sei que existem muitas bibliotecas para aprendizado de máquina e aprendizado profundo como caffe, …

13 neural-networks  deep-learning  conv-neural-network 

A normalização de lotes foi creditada com melhorias substanciais de desempenho em redes neurais profundas. Muito material na internet mostra como implementá-lo, ativação por ativação. Eu já implementei backprop usando álgebra matricial e, como estou trabalhando em linguagens de alto nível (enquanto confio em Rcpp(e eventualmente GPUs) para multiplicação densa …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

O recente progresso nas redes neurais é resumido por uma sequência de novas arquiteturas caracterizadas principalmente por sua crescente complexidade de projeto. De LeNet5 (1994) a AlexNet (2012), Overfeat (2013) e GoogleLeNet / Inception (2014) e assim por diante ... Existe alguma tentativa de permitir que a máquina decida / …

12 neural-networks  deep-learning 

Um estranho para o campo ML / DL; iniciou o curso Udacity Deep Learning, baseado no Tensorflow; fazendo a tarefa 3, problema 4; tentando ajustar a taxa de aprendizado com a seguinte configuração: Tamanho do lote 128 Número de etapas: o suficiente para preencher duas épocas Tamanhos de camadas ocultas: …

12 python  machine-learning  tensorflow  deep-learning 

Digamos que eu use um RNN / LSTM para fazer análise de sentimentos, que é uma abordagem muitos-para-um (consulte este blog ). A rede é treinada por meio de uma retropropagação truncada ao longo do tempo (BPTT), em que a rede é desenrolada por apenas 30 últimas etapas, como de …

12 neural-networks  deep-learning  natural-language  backpropagation 

No livro Deep Learning de Ian Goodfellow , está escrito que Às vezes, a função de perda com a qual realmente nos preocupamos (digamos, erro de classificação) não é aquela que pode ser otimizada com eficiência. Por exemplo, minimizar exatamente a perda esperada de 0-1 é tipicamente intratável (exponencial na …

12 neural-networks  deep-learning  loss-functions 

Antecedentes: Estou estudando o capítulo 6 do Deep Learning de Ian Goodfellow e Yoshua Bengio e Aaron Courville. Na seção 6.2.2.2 (páginas 182 de 183, que pode ser vista aqui ), é motivado o uso de sigmóide na saída .P(y=1|x)P(y=1|x)P(y=1|x) Para resumir alguns dos materiais que deixe ser um neurónio …

12 neural-networks  deep-learning 

Eu configurei uma pesquisa de grade para um monte de parâmetros. Estou tentando encontrar os melhores parâmetros para uma rede neural de Keras que faz classificação binária. A saída é 1 ou 0. Existem cerca de 200 recursos. Quando fiz uma pesquisa na grade, recebi vários modelos e seus parâmetros. …

12 machine-learning  cross-validation  deep-learning  tensorflow  theano