Perguntas com a marcação «neural-networks»

No treinamento de redes neurais profundas e rasas, por que os métodos de gradiente (por exemplo, descida de gradiente, Nesterov, Newton-Raphson) são comumente usados, em oposição a outras metaheurísticas? Por metaheurísticas, refiro-me a métodos como recozimento simulado, otimização de colônias de formigas etc., que foram desenvolvidos para evitar o empate …

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Eu tenho usado o theano para experimentar LSTMs e queria saber quais métodos de otimização (SGD, Adagrad, Adadelta, RMSprop, Adam, etc) funcionam melhor para LSTMs? Existem trabalhos de pesquisa sobre esse assunto? Além disso, a resposta depende do tipo de aplicativo para o qual estou usando o LSTM? Nesse caso, …

20 machine-learning  neural-networks  optimization  lstm 

Por que a retropropagação não funciona quando você inicializa todo o peso com o mesmo valor (por exemplo, 0,5), mas funciona bem quando dados números aleatórios? O algoritmo não deveria calcular o erro e trabalhar a partir daí, apesar de os pesos serem inicialmente os mesmos?

20 machine-learning  neural-networks  backpropagation 

Em termos de linguagem da rede neural (y = Peso * x + viés), como eu saberia quais variáveis ​​são mais importantes que outras? Eu tenho uma rede neural com 10 entradas, uma camada oculta com 20 nós e uma camada de saída que possui um nó. Não sei como …

20 machine-learning  neural-networks  bias  tensorflow  theano 

Estou trabalhando na classificação do estágio do sono. Li alguns artigos de pesquisa sobre esse tópico, muitos deles usavam SVM ou método de conjunto. É uma boa idéia usar a rede neural convolucional para classificar o sinal de EEG unidimensional? Eu sou novo nesse tipo de trabalho. Perdoe-me se eu …

20 neural-networks  svm  conv-neural-network  signal-processing 

Eu estava lendo o documento de normalização em lote (BN) (1) e não entendia a necessidade de usar médias móveis para rastrear a precisão do modelo e, mesmo se eu aceitasse que era a coisa certa a fazer, não entendo o que eles estão fazendo exatamente. Para meu entendimento (o …

20 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Eu tenho um problema muito simples, mas não consigo encontrar a ferramenta certa para resolvê-lo. Eu tenho uma sequência de vetores do mesmo comprimento. Agora eu gostaria de treinar o LSTM RNN na amostra de trem dessas seqüências e, em seguida, prever a nova sequência de vetores de comprimento nnn …

19 neural-networks  python  lstm 

Estou curioso para saber o quão importante é o nó de viés para a eficácia das redes neurais modernas. Eu posso entender facilmente que isso pode ser importante em uma rede superficial com apenas algumas variáveis ​​de entrada. No entanto, as redes neurais modernas, como no aprendizado profundo, geralmente têm …

19 neural-networks  deep-learning  bias-node 

O RNN pode ser usado para previsão ou mapeamento de sequência para sequência. Mas como a RNN pode ser usada para classificação? Quero dizer, damos a uma sequência inteira um rótulo.

19 machine-learning  neural-networks  rnn 

Entendo as camadas convolucionais e de pool, mas não vejo o motivo de uma camada totalmente conectada nas CNNs. Por que a camada anterior não está diretamente conectada à camada de saída?

19 neural-networks  deep-learning  conv-neural-network 

Para usar o SVM ou a Rede Neural, ele precisa transformar (codificar) variáveis ​​categóricas em variáveis ​​numéricas, o método normal nesse caso é usar 0-1 valores binários com o k-ésimo valor categórico transformado em (0,0, .. ., 1,0, ... 0) (1 está na posição k-ésima). Existem outros métodos para fazer …

19 machine-learning  neural-networks  categorical-data  svm  categorical-encoding 

Costumo ouvir pessoas falando sobre redes neurais como algo como uma caixa preta que você não entende o que ela faz ou o que elas significam. Na verdade, eu não consigo entender o que eles querem dizer com isso! Se você entende como a propagação traseira funciona, como é uma …

19 machine-learning  neural-networks 

Fiquei um pouco confuso sobre o algoritmo de retropropagação usado no perceptron multicamada (MLP). O erro é ajustado pela função de custo. Na retropropagação, estamos tentando ajustar o peso das camadas ocultas. O erro de saída que posso entender, isto é, e = d - y[Sem os subscritos]. As perguntas …

19 machine-learning  neural-networks  backpropagation 

A pergunta pode parecer um pouco estranha, porque sou novo na inferência estatística e nas redes neurais. Quando em problemas de classificação usando redes neurais, dizemos que queremos aprender uma função que mapeia o espaço das entradas , para o espaço das saídas :f∗f∗f^*xxxyyy f∗(x;θ)=yf∗(x;θ)=yf^*(x; \theta) = y Estamos ajustando …

19 machine-learning  neural-networks 

Meus professores de física na pós-graduação, assim como o Nobel Feynman, sempre apresentavam o que chamavam de modelos de brinquedos para ilustrar conceitos e métodos básicos em física, como o oscilador harmônico, o pêndulo, o pião e a caixa preta. Quais modelos de brinquedos são usados ​​para ilustrar os conceitos …

18 machine-learning  neural-networks  deep-learning