Perguntas com a marcação «deep-learning»

No aprendizado de máquina básico, aprendemos as seguintes "regras práticas": a) o tamanho dos seus dados deve ser pelo menos 10 vezes o tamanho da dimensão VC do seu conjunto de hipóteses. b) uma rede neural com conexões N tem uma dimensão VC de aproximadamente N. Então, quando uma rede …

15 machine-learning  neural-networks  deep-learning  vc-dimension 

Estou estudando este tutorial sobre auto-codificadores variacionais de Carl Doersch . Na segunda página, afirma: Um dos frameworks mais populares é o Autoencoder Variacional [1, 3], o assunto deste tutorial. As suposições deste modelo são fracas e o treinamento é rápido via retropropagação. Os VAEs fazem uma aproximação, mas o …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

A literatura de aprendizado profundo está cheia de truques inteligentes com o uso de taxas de aprendizado não constantes na descida do gradiente. Coisas como decaimento exponencial, RMSprop, Adagrad etc. são fáceis de implementar e estão disponíveis em todos os pacotes de aprendizado profundo, mas parecem inexistentes fora das redes …

14 machine-learning  deep-learning  optimization  gradient-descent 

Todos os exemplos que encontrei usando crenças profundas ou redes neurais convolucionais os usam para classificação de imagens, detecção de chatacter ou reconhecimento de fala. As redes neurais profundas também são úteis para tarefas clássicas de regressão, onde os recursos não são estruturados (por exemplo, não organizados em uma sequência …

14 regression  machine-learning  neural-networks  deep-learning 

Digamos que estou escrevendo um algoritmo para a construção de um autoencoder empilhado de 2 camadas e uma rede neural de 2 camadas. Eles são as mesmas coisas ou diferença? O que eu entendo é que, quando eu construo um codificador automático empilhado, eu construo camada por camada. Para rede …

14 neural-networks  deep-learning  autoencoders 

Se eu tenho uma rede neural convolucional (CNN), que possui cerca de 1.000.000 de parâmetros, quantos dados de treinamento são necessários (suponha que eu esteja fazendo descida estocástica do gradiente)? Existe alguma regra de ouro? Notas adicionais: Quando realizei descida de gradiente estocástico (por exemplo, 64 amostras para 1 iteração), …

14 machine-learning  neural-networks  deep-learning  conv-neural-network 

Isso é feito com referência ao documento Localização eficiente de objetos usando redes convolucionais e, pelo que entendi, a desistência é implementada em 2D. Após ler o código de Keras sobre como o Spatial 2D Dropout é implementado, basicamente uma máscara binária aleatória de forma [batch_size, 1, 1, num_channels] é …

14 machine-learning  deep-learning  tensorflow  dropout 

Particularmente no contexto das competições de kaggle, notei que o desempenho do modelo se refere à seleção / engenharia de recursos. Embora eu possa entender completamente por que isso acontece quando se lida com os algoritmos de ML mais convencionais / da velha escola, não vejo por que esse seria …

14 neural-networks  deep-learning  feature-selection  feature-engineering 

O que é o Deep Learning Bayesiano e como ele se relaciona com as estatísticas Bayesianas tradicionais e com o Deep Learning tradicional? Quais são os principais conceitos e matemática envolvidos? Eu poderia dizer que são apenas estatísticas bayesianas não paramétricas? Quais são suas obras seminais, bem como seus principais …

13 bayesian  deep-learning 

No artigo de 2015 da DeepMind sobre aprendizado profundo por reforço, ele afirma que "as tentativas anteriores de combinar RL com redes neurais falharam amplamente devido ao aprendizado instável". O artigo lista algumas causas disso, com base nas correlações entre as observações. Por favor, alguém poderia explicar o que isso …

13 machine-learning  neural-networks  deep-learning  reinforcement-learning 

Eu li alguns artigos sobre imagens manualmente inventadas para "enganar" uma rede neural (veja abaixo). Isso ocorre porque as redes modelam apenas a probabilidade condicional p ( y| x)p(y|x)p(y|x) ? Se uma rede puder modelar a probabilidade conjunta p ( y, X )p(y,x)p(y,x) , esses casos ainda ocorrerão? Meu palpite …

13 machine-learning  neural-networks  deep-learning 

Quero saber o que é e como é diferente do conjunto? Suponha que eu queira alcançar alta precisão na classificação e segmentação, para uma tarefa específica, se eu usar redes diferentes, como CNN, RNN, etc. para conseguir isso, isso é chamado de modelo de ponta a ponta? (arquitetura?) ou não?

13 machine-learning  terminology  deep-learning 

Antecedentes: recentemente entendi em um nível mais profundo a importância do aumento de dados ao treinar redes neurais convolucionais depois de assistir a essa excelente palestra de Geoffrey Hinton . Ele explica que as redes neurais convolucionais da geração atual não são capazes de generalizar o quadro de referência do …

13 machine-learning  deep-learning 

Estou modelando 15000 tweets para previsão de sentimentos usando uma única camada LSTM com 128 unidades ocultas usando uma representação do tipo word2vec com 80 dimensões. Recebo uma precisão de descida (38% com aleatório = 20%) após 1 época. Mais treinamento faz com que a precisão da validação comece a …

13 deep-learning  regularization  overfitting  lstm 

Estou usando uma rede lstm e feed-forward para classificar o texto. Converto o texto em vetores muito quentes e alimento cada um no lstm para que eu possa resumir como uma única representação. Então eu o alimento para a outra rede. Mas como eu treino o lstm? Eu só quero …

13 classification  neural-networks  deep-learning  lstm