Perguntas com a marcação «neural-networks»

No SGD, uma época seria a apresentação completa dos dados de treinamento e haveria N atualizações de peso por época (se houver N exemplos de dados no conjunto de treinamento). Se agora fizermos mini-lotes, digamos em lotes de 20. Agora, uma época consiste em atualizações de peso N / 20 …

8 machine-learning  neural-networks 

Minha rede neural recorrente (LSTM, resp. GRU) se comporta de uma maneira que não consigo explicar. O treinamento começa e treina bem (os resultados parecem muito bons) quando a precisão cai repentinamente (e a perda aumenta rapidamente) - métricas de treinamento e teste. Às vezes, a rede fica louca e …

8 neural-networks  lstm  gru 

Eu queria treinar uma rede com não linearidades que sofrem com o desaparecimento (ou o problema do gradiente explodindo, embora principalmente o desaparecimento). Sei que a maneira padrão (atual) é usar a normalização de lote 1 [BN] 1 ou simplesmente abandonar a não linearidade e usar as unidades ReLu Rectifier …

8 machine-learning  neural-networks  conv-neural-network  batch-normalization 

Em geral, devo treinar minha rede neural com menos neurônios, para que ela tenha menos neurônios ReLU mortos? Eu li opiniões conflitantes sobre ReLUs mortos. Algumas fontes dizem que ReLUs mortos são bons porque incentivam a escarsidade. Outros dizem que são ruins porque as RELUs mortas estão mortas para sempre …

8 machine-learning  neural-networks  conv-neural-network 

Como um aquecimento com redes neurais recorrentes, estou tentando prever uma onda senoidal de outra onda senoidal de outra frequência. Meu modelo é um RNN simples, seu passe para frente pode ser expresso da seguinte forma: rtzt=σ(Win⋅xt+Wrec⋅rt−1))=Wout⋅rtrt=σ(Win⋅xt+Wrec⋅rt−1))zt=Wout⋅rt \begin{aligned} r_t &= \sigma(W_{in} \cdot x_t + W_{rec} \cdot r_{t-1}))\\ z_t &= W_{out} …

8 regression  time-series  neural-networks  deep-learning  rnn 

Eu li os ótimos comentários sobre como lidar com valores ausentes antes de aplicar o SVD, mas gostaria de saber como ele funciona com um exemplo simples: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada a matriz …

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

Comecei a ler sobre Redes Neurais Recorrentes (RNNs) e Memória de Longo Prazo (LSTM) ... (... oh, não há pontos de representantes suficientes aqui para listar referências ...) Uma coisa que eu não entendo: sempre parece que os neurônios em cada instância de uma camada oculta ficam "totalmente conectados" com …

8 machine-learning  neural-networks  backpropagation 

Eu estou pensando sobre as diferenças. Com base no meu entendimento, o MLP é um tipo de rede neural, onde a função de ativação é sigmóide e o termo de erro é um erro de entropia cruzada (logística). Procurando ajuda, obrigado!

8 neural-networks  perceptron 

Ultimamente, venho estudando a teoria por trás das RNAs e queria entender a 'mágica' por trás da capacidade de classificação não linear de várias classes. Isso me levou a este site, que faz um bom trabalho em explicar geometricamente como essa aproximação é alcançada. Aqui está como eu entendi (em …

8 machine-learning  neural-networks  approximation  intuition  function 

https://www.tensorflow.org/ Todos os projetos do TensorFlow que eu vi no GitHub implementam algum tipo de modelo de rede neural. Dado que o TensorFlow é uma melhoria em relação ao DAG (não é mais acíclico), eu queria saber se algumas deficiências inerentes o tornam inadequado para o modelo geral de aprendizado …

8 machine-learning  neural-networks  deep-learning  supervised-learning  tensorflow 

Eu fiz uma rede neural convolucional e queria verificar se meus gradientes estão sendo calculados corretamente usando a verificação numérica de gradiente. A questão é, quão perto está o suficiente? Minha função de verificação apenas cospe a derivada calculada, a derivada numericamente aproximada, a diferença entre os dois e se …

8 neural-networks  conv-neural-network  gradient 

Descrição do Problema Estou iniciando a construção da rede para um problema que eu acho que poderia ter uma função de perda muito mais criteriosa do que uma simples regressão MSE. Meu problema lida com a classificação de várias categorias ( veja minha pergunta no SO para o que quero …

8 neural-networks  loss-functions 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 4 anos . Estou trabalhando nos benchmarks de algumas redes neurais e eles levam uma quantidade significativa de …

8 r  neural-networks 

Eu sou novo no aprendizado profundo, portanto essa pode ser uma pergunta trivial. Mas estou me perguntando por que o aprendizado profundo (ou rede neural) não funciona muito bem em pequenos dados rotulados. Quaisquer que sejam os trabalhos de pesquisa que eu tenha lido, seus conjuntos de dados são enormes. …

8 neural-networks  deep-learning 

Estou tentando entender como o rnn pode ser usado para prever sequências, trabalhando com um exemplo simples. Aqui está minha rede simples, consistindo em uma entrada, um neurônio oculto e uma saída: O neurônio oculto é a função sigmóide e a saída é considerada uma saída linear simples. Então, eu …

8 machine-learning  neural-networks  deep-learning  gradient-descent