Perguntas com a marcação «neural-networks»

Estou tentando adicionar uma camada softmax a uma rede neural treinada com retropropagação, então estou tentando calcular seu gradiente. A saída do softmax é hj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}} , ondejjjé o número de neurónios de saída. Se eu der, então eu recebo ∂hj∂zj=hj(1−hj)∂hj∂zj=hj(1−hj)\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j) Semelhante à regressão logística. No entanto, isso está …

43 neural-networks 

Alguém pode explicar o que as unidades maxout em uma rede neural fazem? Como eles funcionam e como eles diferem das unidades convencionais? Tentei ler o artigo "Maxout Network" de 2013 de Goodfellow et al. (do grupo do professor Yoshua Bengio), mas não entendi direito.

42 machine-learning  neural-networks 

Momentum é usado para diminuir as flutuações nas alterações de peso em iterações consecutivas:αα\alpha E(w)wηΔ ωEu( t + 1 ) = - η∂E∂WEu+ α Δ ωEu( T ) ,ΔωEu(t+1)=-η∂E∂WEu+αΔωEu(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), que é a função de erro, - o vetor de pesos, - …

41 neural-networks  optimization  regularization  gradient-descent 

Por que a função sigmóide padrão de fato, , é tão popular em redes neurais (não profundas) e em regressão logística?1 11 + e- x1 11 1+e-x\frac{1}{1+e^{-x}} Por que não usamos muitas das outras funções deriváveis, com tempo de computação mais rápido ou decaimento mais lento (para que o gradiente …

40 logistic  neural-networks  least-squares 

Estou apenas começando a me molhar nas estatísticas, então desculpe se esta pergunta não faz sentido. Eu usei os modelos de Markov para prever estados ocultos (cassinos injustos, jogadas de dados etc.) e redes neurais para estudar os cliques dos usuários em um mecanismo de pesquisa. Ambos tinham estados ocultos …

40 data-mining  algorithms  neural-networks  markov-process 

Encontrei a unidade linear retificada (ReLU) elogiada em vários locais como uma solução para o problema do gradiente de fuga para redes neurais. Ou seja, usa-se max (0, x) como função de ativação. Quando a ativação é positiva, é óbvio que isso é melhor do que, digamos, a função de …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Estou tentando prever o resultado de um sistema complexo usando redes neurais (RNAs). Os valores do resultado (dependentes) variam entre 0 e 10.000. As diferentes variáveis ​​de entrada têm intervalos diferentes. Todas as variáveis ​​têm distribuições aproximadamente normais. Considero diferentes opções para dimensionar os dados antes do treinamento. Uma opção …

40 machine-learning  neural-networks  multidimensional-scaling 

Nos documentos de classificação da ImageNet, as taxas de erro 1 e 5 são unidades importantes para medir o sucesso de algumas soluções, mas quais são essas taxas? Na classificação ImageNet com redes neurais profundas convolucionais por Krizhevsky et al. todas as soluções baseadas em uma única CNN (página 7) …

38 classification  neural-networks  error  measurement-error  image-processing 

As redes neurais são frequentemente tratadas como "caixas pretas" devido à sua estrutura complexa. Isso não é ideal, pois geralmente é benéfico ter uma compreensão intuitiva de como um modelo está funcionando internamente. Quais são os métodos para visualizar como uma rede neural treinada está funcionando? Como alternativa, como podemos …

37 data-visualization  neural-networks 

Um problema que eu vi com frequência levantado no contexto das redes neurais em geral, e das redes neurais profundas em particular, é que elas têm "fome de dados" - ou seja, elas não têm um bom desempenho, a menos que tenhamos um grande conjunto de dados com o qual …

37 neural-networks  deep-learning  regularization 

Estou treinando uma rede neural e a perda de treinamento diminui, mas a perda de validação não diminui ou diminui muito menos do que eu esperava, com base em referências ou experimentos com arquiteturas e dados muito semelhantes. Como posso consertar isso? Quanto à pergunta O que devo fazer quando …

37 neural-networks  deep-learning 

Qual é a diferença entre os termos "kernel" e "filter" no contexto de redes neurais convolucionais?

37 neural-networks  terminology  deep-learning  conv-neural-network 

Antes de tudo, percebi que, se preciso realizar previsões binárias, tenho que criar pelo menos duas classes executando uma codificação one-hot. Isso está correto? No entanto, a entropia cruzada binária é apenas para previsões com apenas uma classe? Se eu usasse uma perda de entropia cruzada categórica, que normalmente é …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

A função de custo da rede neural é J(W,b)J(W,b)J(W,b) e é reivindicada como não convexa . Não entendo muito bem por que é assim, pois, como vejo, é bastante semelhante à função de custo da regressão logística, certo? Se não for convexa, a derivada de 2ª ordem ∂J∂W<0∂J∂W<0\frac{\partial J}{\partial W} …

36 neural-networks  loss-functions 

O LSTM foi inventado especificamente para evitar o problema do gradiente de fuga. Supõe-se que isso seja feito com o Constant Error Carousel (CEC), que no diagrama abaixo (de Greff et al. ) Corresponde ao loop em torno da célula . (fonte: deeplearning4j.org ) E eu entendo que essa parte …

35 neural-networks  lstm