Perguntas com a marcação «neural-networks»

A função de ativação tanh é: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Onde , a função sigmóide, é definida como: .σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} Questões: Realmente importa entre usar essas duas funções de ativação (tanh vs. sigma)? Qual função é …

82 machine-learning  neural-networks  optimization  cost-maximization 

Nos últimos anos, as redes neurais convolucionais (ou talvez as redes neurais profundas em geral) tornaram-se cada vez mais profundas, com redes de ponta passando de 7 camadas ( AlexNet ) a 1000 camadas ( Redes Residuais) no espaço de 4 anos. A razão por trás do aumento no desempenho …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

Uma época em descida de gradiente estocástico é definida como uma única passagem pelos dados. Para cada minibatch SGD, amostras são coletadas, o gradiente calculado e os parâmetros atualizados. Na configuração de época, as amostras são coletadas sem substituição.kkk Mas isso parece desnecessário. Por que não desenhar cada minibatch do …

69 neural-networks  deep-learning  gradient-descent 

Acabo de ouvir que é uma boa ideia escolher pesos iniciais de uma rede neural no intervalo , onde é o número de entradas para um dado neurônio. Supõe-se que os conjuntos sejam normalizados - média 0, variação 1 (não sei se isso importa).(−1d√,1d√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})ddd Por que …

68 neural-networks  normalization 

As redes neurais recorrentes diferem das "regulares" pelo fato de terem uma camada de "memória". Devido a essa camada, as NNs recorrentes devem ser úteis na modelagem de séries temporais. No entanto, não sei se entendi corretamente como usá-los. Digamos que possuo as seguintes séries temporais (da esquerda para a …

67 time-series  machine-learning  neural-networks 

Existe alguma orientação geral sobre onde colocar camadas de dropout em uma rede neural?

65 neural-networks  dropout 

Estou treinando uma rede neural para classificar um conjunto de objetos em n-classes. Cada objeto pode pertencer a várias classes ao mesmo tempo (multi-classe, multi-rótulo). Li que, para problemas com várias classes, geralmente é recomendável usar softmax e entropia cruzada categórica como a função de perda em vez de mse …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Uma criança humana com 2 anos de idade precisa de cerca de 5 instâncias de um carro para poder identificá-lo com precisão razoável, independentemente da cor, marca etc. Quando meu filho tinha 2 anos, ele foi capaz de identificar bondes e trens, mesmo tendo visto apenas alguns. Como ele geralmente …

64 neural-networks  neuroscience 

Estou tendo a impressão de que, quando as pessoas estão se referindo a uma rede de "crenças profundas", essa é basicamente uma rede neural, mas muito grande. Isso está correto ou uma profunda rede de crenças também implica que o algoritmo em si é diferente (ou seja, nenhuma rede neural …

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Vejo que muitos algoritmos de aprendizado de máquina funcionam melhor com cancelamento médio e equalização de covariância. Por exemplo, as Redes Neurais tendem a convergir mais rapidamente, e o K-Means geralmente oferece melhores agrupamentos com recursos pré-processados. Não vejo a intuição por trás dessas etapas de pré-processamento levar a um …

61 machine-learning  neural-networks  covariance  normalization 

Qual é a diferença entre uma rede neural de feed-forward e recorrente ? Por que você usaria um sobre o outro? Existem outras topologias de rede?

58 machine-learning  neural-networks  terminology  rnn  topologies 

Encontrei duas perguntas aqui e aqui sobre esse problema, mas ainda não há uma resposta ou explicação óbvia. Eu imponho o mesmo problema em que o erro de validação é menor que o erro de treinamento na minha Rede Neural de Convolução. O que isso significa?

58 machine-learning  mathematical-statistics  neural-networks  cross-validation 

O PCA e o autoencoder podem reduzir a demension, então, qual é a diferença entre eles? Em que situação devo usar um sobre o outro?

56 machine-learning  pca  neural-networks  autoencoders 

Eu queria saber se existem boas bibliotecas R por aí para redes neurais de aprendizado profundo? Eu sei que existe o nnet,, neuralnete RSNNS, mas nenhum deles parece implementar métodos de aprendizado profundo. Estou especialmente interessado em não supervisionado, seguido de aprendizado supervisionado e no uso da evasão para impedir …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

Alguém pode explicar o que é uma camada global máxima de pool e por que e quando a usamos para treinar uma rede neural. Eles têm alguma vantagem sobre a camada máxima comum de pooling?

55 neural-networks  conv-neural-network  pooling