Perguntas com a marcação «deep-learning»

Quais são as vantagens, por que alguém usaria vários LSTMs, empilhados lado a lado, em uma rede profunda? Estou usando um LSTM para representar uma sequência de entradas como uma única entrada. Então, uma vez que eu tenho essa única representação - por que eu a repassaria novamente? Estou perguntando …

25 classification  neural-networks  deep-learning  lstm  rnn 

Por que as funções de ativação de unidades lineares retificadas (ReLU) são consideradas não lineares? f( x ) = max ( 0 , x )f(x)=max(0 0,x) f(x) = \max(0,x) Eles são lineares quando a entrada é positiva e, do meu entendimento, para desbloquear o poder representativo das redes profundas, as …

25 neural-networks  deep-learning 

De acordo com esta e esta resposta, os auto-codificadores parecem ser uma técnica que utiliza redes neurais para redução de dimensão. Eu gostaria de saber adicionalmente o que é um autoencoder variacional (suas principais diferenças / benefícios em relação aos autoencoders "tradicionais") e também quais são as principais tarefas de …

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Eu estava lendo sobre o otimizador de Adam para o Deep Learning e me deparei com a seguinte frase no novo livro Deep Learning de Bengio, Goodfellow e Courville: Adam é geralmente considerado como sendo bastante robusto para a escolha de hiper parâmetros, embora a taxa de aprendizado às vezes …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Em Alex Krizhevsky, et al. Na classificação Imagenet com redes neurais convolucionais profundas, eles enumeram o número de neurônios em cada camada (veja o diagrama abaixo). A entrada da rede é 150.528-dimensional, e o número de neurônios nas camadas restantes da rede é dado por 253.440-186.624-64.896-64.896–43.264– 4096–4096-1000. Uma visualização em …

24 neural-networks  deep-learning  conv-neural-network 

Estou tentando entender melhor as redes neurais convolucionais melhor escrevendo código Python que não depende de bibliotecas (como Convnet ou TensorFlow), e estou ficando preso na literatura sobre como escolher valores para a matriz do kernel, quando realizando uma convolução em uma imagem. Estou tentando entender os detalhes da implementação …

24 machine-learning  neural-networks  deep-learning  feature-construction  conv-neural-network 

Então, eu estou tentando treinar imagens de humanos usando redes convolucionais. Leio os jornais ( Paper1 e paper2 ) e esta ligação stackoverflow , mas eu não estou certo que eu sou entender a estrutura das redes (não é bem definida nos jornais). Questões: Posso fazer com que minha entrada …

23 neural-networks  deep-learning  autoencoders  deep-belief-networks 

Mecanismos de atenção têm sido utilizados em vários trabalhos de Deep Learning nos últimos anos. Ilya Sutskever, chefe de pesquisa da Open AI, elogiou-os com entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello, da Universidade de Purdue, afirmou que RNNs e LSTMs deveriam ser abandonados em favor de redes neurais puramente baseadas na atenção: …

23 time-series  deep-learning  lstm  rnn  attention 

Existem bons documentos que abordam algumas maneiras metódicas de escolher as dimensões dos filtros, agrupar as unidades e determinar o número de camadas convolucionais?

22 neural-networks  deep-learning  conv-neural-network 

Eu estava ouvindo uma palestra e vi este slide: Quão verdadeiro é isso?

22 deep-learning  deep-belief-networks 

Estou ciente de que houve muitos avanços no que diz respeito ao reconhecimento de imagens, classificação de imagens etc. com redes neurais profundas e convolucionais. Mas se eu treinar uma rede, digamos, em imagens PNG, funcionará apenas para imagens tão codificadas? Que outras propriedades da imagem afetam isso? (canal alfa, …

22 neural-networks  deep-learning  image-processing 

Trabalho com redes neurais convolucionais (CNNs) há algum tempo, principalmente em dados de imagem para segmentação semântica / segmentação de instância. Eu muitas vezes visualizei o softmax da saída de rede como um "mapa de calor" para ver o quão alto são as ativações por pixel para uma determinada classe. …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Fundo: Sim, a máquina de Boltzmann restrita (RBM) pode ser usada para iniciar os pesos de uma rede neural. Também PODE ser usado de maneira "camada por camada" para construir uma rede profunda de crenças (isto é, treinar uma ésima camada na parte superior da -ésima camada e depois treinar …

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm 

Bem, recentemente, eu estava trabalhando no aprendizado de algoritmos de impulso, como adaboost, aumento de gradiente, e eu sabia que o mais comumente usado é o árvores. Eu realmente quero saber se existem alguns exemplos bem-sucedidos recentes (refiro-me a alguns artigos ou artigos) para o uso de redes neurais como …

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Definimos uma arquitetura de gargalo como o tipo encontrado no artigo da ResNet , em que [duas camadas de conv3 3x3] são substituídas por [uma conv de 1x1, uma conv de 3x3 e outra conv. De 1x1]. Entendo que as camadas 1x1 conv são usadas como uma forma de redução …

21 residuals  deep-learning  conv-neural-network