Ciência de dados neural-network

10

Li recentemente Redes totalmente convolucionais para segmentação semântica de Jonathan Long, Evan Shelhamer, Trevor Darrell. Não entendo o que as "camadas desconvolucionais" fazem / como elas funcionam. A parte relevante é 3.3 Upsampling é convolução para trás Outra maneira de conectar saídas grosseiras a pixels densos é a interpolação. Por …

188 neural-network convnet convolution

17

Melhor biblioteca python para redes neurais

Estou usando as Redes Neurais para resolver diferentes problemas de aprendizado de máquina. Estou usando Python e pybrain, mas esta biblioteca está quase descontinuada. Existem outras boas alternativas em Python?

130 machine-learning python neural-network

5

Qual é o problema do "ReLU moribundo" nas redes neurais?

Referindo-se às notas do curso de Stanford sobre Redes neurais convolucionais para reconhecimento visual , um parágrafo diz: "Infelizmente, as unidades ReLU podem ser frágeis durante o treinamento e podem" morrer ". Por exemplo, um grande gradiente que flui através de um neurônio ReLU pode fazer com que os pesos …

119 machine-learning neural-network deep-learning

6

Quando usar GRU sobre LSTM?

A principal diferença entre uma GRU e um LSTM é que uma GRU possui duas portas ( redefinir e atualizar portas), enquanto uma LSTM possui três portas (portas de entrada , saída e esquecimento ). Por que usamos GRU quando claramente temos mais controle sobre a rede através do modelo …

95 neural-network deep-learning

8

Escolhendo uma taxa de aprendizado

Atualmente, estou trabalhando na implementação da descida estocástica de gradiente SGD, para redes neurais usando propagação traseira, e enquanto eu entendo seu objetivo, tenho algumas perguntas sobre como escolher valores para a taxa de aprendizado. A taxa de aprendizado está relacionada à forma do gradiente de erro, conforme determina a …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

Como você visualiza arquiteturas de redes neurais?

Ao escrever um artigo / fazer uma apresentação sobre um tópico sobre redes neurais, geralmente se visualiza a arquitetura das redes. Quais são as maneiras boas / simples de visualizar arquiteturas comuns automaticamente?

80 machine-learning neural-network deep-learning visualization

5

Como desenhar diagramas de arquitetura de rede do Deep Learning?

Eu construí meu modelo. Agora eu quero desenhar o diagrama da arquitetura de rede para o meu trabalho de pesquisa. O exemplo é mostrado abaixo:

78 machine-learning neural-network deep-learning svm software-recommendation

3

Backprop através de camadas de pool máximo?

Esta é uma pequena questão conceitual que me incomoda há um tempo: como podemos retropropagar através de uma camada de pool máximo em uma rede neural? Me deparei com camadas de pool máximo durante o tutorial da biblioteca nn do Torch 7. A biblioteca abstrai o cálculo do gradiente e …

62 neural-network backpropagation

4

Como as convoluções 1x1 são iguais às de uma camada totalmente conectada?

Li recentemente o comentário de Yan LeCuns sobre convoluções 1x1 : Nas redes convolucionais, não existem "camadas totalmente conectadas". Existem apenas camadas de convolução com kernels de convolução 1x1 e uma tabela de conexão completa. É um fato raramente compreendido que ConvNets não precisam ter uma entrada de tamanho fixo. …

55 neural-network convnet

3

RNN vs CNN em alto nível

Estive pensando nas Redes Neurais Recorrentes (RNN) e suas variedades e nas Redes Neurais Convolucionais (CNN) e suas variedades. Seria justo dizer esses dois pontos: Use CNNs para dividir um componente (como uma imagem) em subcomponentes (como um objeto em uma imagem, como o contorno do objeto na imagem etc.) …

53 machine-learning neural-network beginner

2

Quando usar a inicialização normal (He ou Glorot) sobre init uniforme? E quais são seus efeitos com a Normalização em lote?

Eu sabia que a Residual Network (ResNet) tornou popular a inicialização normal de He. No ResNet, a inicialização normal é usada , enquanto a primeira camada usa a inicialização uniforme. Examinei os artigos da ResNet e os artigos "Investigando profundamente os retificadores" (artigo de inicialização He), mas não encontrei nenhuma …

51 neural-network deep-learning normalization

3

Como combater a falta de ajuste em uma rede neural profunda

Quando comecei com redes neurais artificiais (NN), pensei que teria que combater o excesso de ajustes como o principal problema. Mas, na prática, nem consigo que meu NN ultrapasse a barreira da taxa de erro de 20%. Eu não posso nem bater minha pontuação na floresta aleatória! Estou buscando conselhos …

50 neural-network deep-learning

4

Redes neurais: qual função de custo usar?

Estou usando o TensorFlow para experimentos principalmente com redes neurais. Embora eu tenha feito algumas experiências (XOR-Problem, MNIST, algumas coisas de Regressão, ...) agora, luto com a escolha da função de custo "correta" para problemas específicos, porque no geral eu poderia ser considerado um iniciante. Antes de vir para o …

49 machine-learning python neural-network statistics tensorflow

4

Adicionando recursos ao modelo de série temporal LSTM

estiveram lendo um pouco sobre LSTM e seu uso para séries temporais e tem sido interessante, mas difícil ao mesmo tempo. Uma coisa que tive dificuldades em entender é a abordagem para adicionar recursos adicionais ao que já é uma lista de recursos de séries temporais. Supondo que você tenha …

43 machine-learning neural-network deep-learning time-series

1

Qual é a diferença entre LeakyReLU e PReLU?

f(x)=max(x,αx) with α∈(0,1)f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras, no entanto, tem ambas as funções nos documentos . LeaL ReLU Fonte do LeakyReLU : return K.relu(inputs, alpha=self.alpha) Portanto (consulte o código ) f1(x)=max(0,x)−αmax(0,−x)f1(x)=max(0,x)−αmax(0,−x)f_1(x) = \max(0, x) - \alpha \max(0, -x) PReLU …

42 neural-network

Perguntas com a marcação «neural-network»