Perguntas com a marcação «deep-learning»

Al Rahimi deu recentemente uma palestra muito provocativa no NIPS 2017, comparando o Machine Learning atual com a Alquimia. Uma de suas afirmações é que precisamos voltar aos desenvolvimentos teóricos, ter teoremas simples que provem resultados fundamentais. Quando ele disse isso, comecei a procurar os principais teoremas da ML, mas …

45 machine-learning  deep-learning  theory 

Estou tentando entender a parte da convolução das redes neurais convolucionais. Observando a figura a seguir: Não tenho problemas para entender a primeira camada de convolução, na qual temos 4 núcleos diferentes (de tamanho ), que convolvemos com a imagem de entrada para obter 4 mapas de recursos.k×kk×kk \times k …

44 machine-learning  neural-networks  deep-learning  conv-neural-network 

Eu quero aprender redes neurais. Sou lingüista computacional. Conheço abordagens estatísticas de aprendizado de máquina e posso codificar em Python. Pretendo começar com seus conceitos e conhecer um ou dois modelos populares que podem ser úteis do ponto de vista da Linguística Computacional. Naveguei na Web em busca de referências …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

Descobri que o Imagenet e outras CNNs grandes usam camadas de normalização de resposta local. No entanto, não consigo encontrar tanta informação sobre eles. Quão importantes são e quando devem ser usados? Em http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "A camada de normalização de resposta local executa um tipo de" inibição lateral "normalizando sobre …

41 deep-learning  convolution  conv-neural-network 

Encontrei a unidade linear retificada (ReLU) elogiada em vários locais como uma solução para o problema do gradiente de fuga para redes neurais. Ou seja, usa-se max (0, x) como função de ativação. Quando a ativação é positiva, é óbvio que isso é melhor do que, digamos, a função de …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Estou procurando um artigo que possa ajudar a fornecer diretrizes sobre como escolher os hiperparâmetros de uma arquitetura profunda, como auto-codificadores empilhados ou redes de crenças profundas. Existem muitos hiperparâmetros e estou muito confuso sobre como escolhê-los. O uso da validação cruzada também não é uma opção, pois o treinamento …

38 machine-learning  deep-learning  deep-belief-networks  hyperparameter 

Um problema que eu vi com frequência levantado no contexto das redes neurais em geral, e das redes neurais profundas em particular, é que elas têm "fome de dados" - ou seja, elas não têm um bom desempenho, a menos que tenhamos um grande conjunto de dados com o qual …

37 neural-networks  deep-learning  regularization 

Estou treinando uma rede neural e a perda de treinamento diminui, mas a perda de validação não diminui ou diminui muito menos do que eu esperava, com base em referências ou experimentos com arquiteturas e dados muito semelhantes. Como posso consertar isso? Quanto à pergunta O que devo fazer quando …

37 neural-networks  deep-learning 

Qual é a diferença entre os termos "kernel" e "filter" no contexto de redes neurais convolucionais?

37 neural-networks  terminology  deep-learning  conv-neural-network 

Estou criando uma rede neural convolucional (CNN), onde tenho uma camada convolucional seguida por uma camada de pool e quero aplicar a desistência para reduzir o sobreajuste. Tenho a sensação de que a camada de abandono deve ser aplicada após a camada de pool, mas na verdade não tenho nada …

35 deep-learning  conv-neural-network  dropout 

A codificação esparsa é definida como a aprendizagem de um conjunto excessivo de vetores básicos para representar vetores de entrada (<- por que queremos isso). Quais são as diferenças entre codificação esparsa e autoencoder? Quando usaremos a codificação esparsa e o autoencoder?

35 machine-learning  neural-networks  unsupervised-learning  deep-learning  autoencoders 

Alguém viu alguma literatura sobre pré-treinamento em redes neurais convolucionais profundas? Vi apenas pré-treinamento não supervisionado em máquinas de autoencoder ou boltzman restritas.

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

Há muito tempo os computadores conseguem jogar xadrez usando uma técnica de "força bruta", procurando até uma certa profundidade e depois avaliando a posição. O computador AlphaGo, no entanto, usa apenas uma RNA para avaliar as posições (ele não faz nenhuma pesquisa em profundidade até onde eu sei). É possível …

32 neural-networks  deep-learning  reinforcement-learning  games 

Introdução Dentro de uma rede neural convolucional, geralmente temos uma estrutura / fluxo geral que se parece com isso: imagem de entrada (ou seja, um vetor 2D x) (A primeira camada convolucional (Conv1) começa aqui ...) envolva um conjunto de filtros ( w1) ao longo da imagem 2D (ou seja, …

32 neural-networks  deep-learning  conv-neural-network 

Hinton e Salakhutdinov, em Reduzindo a dimensionalidade dos dados com redes neurais, a Science 2006 propôs um PCA não linear através do uso de um autoencoder profundo. Eu tentei construir e treinar um autoencoder PCA com Tensorflow várias vezes, mas nunca consegui obter melhores resultados do que o PCA linear. …

31 pca  python  deep-learning  tensorflow  autoencoders