Perguntas com a marcação «deep-learning»

Na implementação do ResNet do Tensorflow , acho que eles usam o inicializador de escala de variância, também acho que o inicializador de xavier é popular. Não tenho muita experiência nisso, o que é melhor na prática?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

Hoje em dia, com toda a mídia falando e falando sobre aprendizado profundo, eu li algumas coisas básicas. Acabei de descobrir que é apenas mais um método de aprendizado de máquina para aprender padrões a partir dos dados. Mas minha pergunta é: onde e por que esse método brilha? Por …

20 machine-learning  data-mining  deep-learning  deep-belief-networks 

Eu tenho um modelo de rede neural profunda e preciso treiná-lo no meu conjunto de dados, que consiste em cerca de 100.000 exemplos, meus dados de validação contêm cerca de 1000 exemplos. Como leva tempo para treinar cada exemplo (cerca de 0,5s para cada exemplo) e para evitar o excesso …

20 neural-networks  deep-learning 

No treinamento de redes neurais profundas e rasas, por que os métodos de gradiente (por exemplo, descida de gradiente, Nesterov, Newton-Raphson) são comumente usados, em oposição a outras metaheurísticas? Por metaheurísticas, refiro-me a métodos como recozimento simulado, otimização de colônias de formigas etc., que foram desenvolvidos para evitar o empate …

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Eu estava lendo o documento de normalização em lote (BN) (1) e não entendia a necessidade de usar médias móveis para rastrear a precisão do modelo e, mesmo se eu aceitasse que era a coisa certa a fazer, não entendo o que eles estão fazendo exatamente. Para meu entendimento (o …

20 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Estou curioso para saber o quão importante é o nó de viés para a eficácia das redes neurais modernas. Eu posso entender facilmente que isso pode ser importante em uma rede superficial com apenas algumas variáveis ​​de entrada. No entanto, as redes neurais modernas, como no aprendizado profundo, geralmente têm …

19 neural-networks  deep-learning  bias-node 

Entendo as camadas convolucionais e de pool, mas não vejo o motivo de uma camada totalmente conectada nas CNNs. Por que a camada anterior não está diretamente conectada à camada de saída?

19 neural-networks  deep-learning  conv-neural-network 

Entendo a estrutura básica do autoencoder variacional e do autoencoder normal (determinístico) e a matemática por trás deles, mas quando e por que eu preferiria um tipo de autoencoder ao outro? Tudo o que posso pensar é que a distribuição prévia de variáveis ​​latentes do autoencoder variacional nos permite amostrar …

19 deep-learning  autoencoders  variational-bayes 

Existe alguma diferença entre 'transferência de aprendizado' e 'adaptação de domínio'? Não conheço o contexto, mas entendo que temos um conjunto de dados 1 e o treinamos, após o qual temos outro conjunto de dados 2 para o qual queremos adaptar nosso modelo sem precisar treinar novamente do zero, para …

19 deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 

As redes neurais convolucionais mais comuns contêm camadas de pooling para reduzir as dimensões dos recursos de saída. Por que não consegui a mesma coisa simplesmente aumentando o passo da camada convolucional? O que torna a camada de pool necessária?

18 deep-learning  conv-neural-network  pooling 

Meus professores de física na pós-graduação, assim como o Nobel Feynman, sempre apresentavam o que chamavam de modelos de brinquedos para ilustrar conceitos e métodos básicos em física, como o oscilador harmônico, o pêndulo, o pião e a caixa preta. Quais modelos de brinquedos são usados ​​para ilustrar os conceitos …

18 machine-learning  neural-networks  deep-learning 

Estou procurando artigos ou textos que comparem e discutam (empiricamente ou teoricamente): Algoritmos de árvores de Boosting e Decision , como Random Forests ou AdaBoost , e GentleBoost, aplicados a árvores de decisão. com Métodos de aprendizado profundo, como Máquinas Boltzmann Restritas , Memória Temporal Hierárquica , Redes Neurais Convolucionais …

18 machine-learning  deep-learning  cart  rbm  adaboost 

Muitos tutoriais online falam sobre descida de gradiente e quase todos usam um tamanho de etapa fixo (taxa de aprendizado ). Por que não há uso de pesquisa de linha (como pesquisa de linha de retorno ou pesquisa de linha exata)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Definimos uma época como tendo passado por todas as amostras de treinamento disponíveis, e o tamanho do minilote como o número de amostras sobre as quais calculamos a média para encontrar as atualizações de pesos / desvios necessários para descer o gradiente. Minha pergunta é se devemos extrair sem substituição …

18 machine-learning  neural-networks  optimization  deep-learning 

Se você tiver meia página para explicar o abandono , como você procederia? Qual é a lógica por trás dessa técnica?

17 neural-networks  deep-learning  regularization  dropout