Ciência de dados deep-learning

5

Qual é o problema do "ReLU moribundo" nas redes neurais?

Referindo-se às notas do curso de Stanford sobre Redes neurais convolucionais para reconhecimento visual , um parágrafo diz: "Infelizmente, as unidades ReLU podem ser frágeis durante o treinamento e podem" morrer ". Por exemplo, um grande gradiente que flui através de um neurônio ReLU pode fazer com que os pesos …

119 machine-learning neural-network deep-learning

6

Quando usar GRU sobre LSTM?

A principal diferença entre uma GRU e um LSTM é que uma GRU possui duas portas ( redefinir e atualizar portas), enquanto uma LSTM possui três portas (portas de entrada , saída e esquecimento ). Por que usamos GRU quando claramente temos mais controle sobre a rede através do modelo …

95 neural-network deep-learning

8

Escolhendo uma taxa de aprendizado

Atualmente, estou trabalhando na implementação da descida estocástica de gradiente SGD, para redes neurais usando propagação traseira, e enquanto eu entendo seu objetivo, tenho algumas perguntas sobre como escolher valores para a taxa de aprendizado. A taxa de aprendizado está relacionada à forma do gradiente de erro, conforme determina a …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

Como você visualiza arquiteturas de redes neurais?

Ao escrever um artigo / fazer uma apresentação sobre um tópico sobre redes neurais, geralmente se visualiza a arquitetura das redes. Quais são as maneiras boas / simples de visualizar arquiteturas comuns automaticamente?

80 machine-learning neural-network deep-learning visualization

5

Como desenhar diagramas de arquitetura de rede do Deep Learning?

Eu construí meu modelo. Agora eu quero desenhar o diagrama da arquitetura de rede para o meu trabalho de pesquisa. O exemplo é mostrado abaixo:

78 machine-learning neural-network deep-learning svm software-recommendation

5

Previsão de séries temporais usando ARIMA vs LSTM

O problema com o qual estou lidando é prever valores de séries temporais. Estou analisando uma série temporal por vez e, com base em, por exemplo, 15% dos dados de entrada, gostaria de prever seus valores futuros. Até agora me deparei com dois modelos: LSTM (memória de longo prazo; uma …

64 time-series deep-learning rnn prediction

2

Quando usar a inicialização normal (He ou Glorot) sobre init uniforme? E quais são seus efeitos com a Normalização em lote?

Eu sabia que a Residual Network (ResNet) tornou popular a inicialização normal de He. No ResNet, a inicialização normal é usada , enquanto a primeira camada usa a inicialização uniforme. Examinei os artigos da ResNet e os artigos "Investigando profundamente os retificadores" (artigo de inicialização He), mas não encontrei nenhuma …

51 neural-network deep-learning normalization

3

Como combater a falta de ajuste em uma rede neural profunda

Quando comecei com redes neurais artificiais (NN), pensei que teria que combater o excesso de ajustes como o principal problema. Mas, na prática, nem consigo que meu NN ultrapasse a barreira da taxa de erro de 20%. Eu não posso nem bater minha pontuação na floresta aleatória! Estou buscando conselhos …

50 neural-network deep-learning

3

Número de parâmetros em um modelo LSTM

Quantos parâmetros possui um único LSTM empilhado? O número de parâmetros impõe um limite inferior ao número de exemplos de treinamento necessários e também influencia o tempo de treinamento. Portanto, conhecer o número de parâmetros é útil para treinar modelos usando LSTMs.

43 deep-learning rnn

4

Adicionando recursos ao modelo de série temporal LSTM

estiveram lendo um pouco sobre LSTM e seu uso para séries temporais e tem sido interessante, mas difícil ao mesmo tempo. Uma coisa que tive dificuldades em entender é a abordagem para adicionar recursos adicionais ao que já é uma lista de recursos de séries temporais. Supondo que você tenha …

43 machine-learning neural-network deep-learning time-series

4

Por que o tamanho do mini lote é melhor que um único "lote" com todos os dados de treinamento?

Costumo ler que, no caso dos modelos de Aprendizado Profundo, a prática usual é aplicar mini-lotes (geralmente pequenos, 32/64) em várias épocas de treinamento. Eu realmente não consigo entender a razão por trás disso. A menos que eu esteja enganado, o tamanho do lote é o número de instâncias de …

40 machine-learning deep-learning

3

Batch_size no Keras tem algum efeito na qualidade dos resultados?

Estou prestes a treinar uma grande rede LSTM com 2 a 3 milhões de artigos e estou enfrentando erros de memória (uso o AWS EC2 g2x2large). Eu descobri que uma solução é reduzir o batch_size. No entanto, não tenho certeza se esse parâmetro está relacionado apenas a problemas de eficiência …

38 deep-learning keras

3

Qual é a diferença entre "equivariante à tradução" e "invariante à tradução"

Estou tendo problemas para entender a diferença entre equivariante para tradução e invariante para tradução . No livro Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville e Y. Bengio), pode-se encontrar nas redes convolucionais: [...] a forma específica de compartilhamento de parâmetros faz com que a camada tenha …

38 neural-network deep-learning convolution

13

Citações engraçadas relacionadas à ciência de dados

Costumava-se para os usuários de diferentes comunidades citar coisas engraçadas sobre seus campos. Pode ser divertido compartilhar suas coisas engraçadas sobre Machine Learning, Deep Learning, Data Science e as coisas que você enfrenta todos os dias!

35 machine-learning neural-network deep-learning

6

Explicação da perda de entropia cruzada

Suponha que eu crie um NN para classificação. A última camada é uma camada densa com ativação softmax. Eu tenho cinco classes diferentes para classificar. Suponha que, para um único exemplo de treinamento, true labelseja [1 0 0 0 0]enquanto estiverem as previsões [0.1 0.5 0.1 0.1 0.2]. Como eu …

35 machine-learning deep-learning

Perguntas com a marcação «deep-learning»