Perguntas com a marcação «neural-networks»

Estou tentando entender o famoso artigo "Playing Atari with Deep Reforcement Learning" ( pdf ). Não estou claro sobre a diferença entre época e episódio . No algoritmo , o loop externo passa por episódios , enquanto na figura o eixo x é marcado como época . No contexto do …

14 neural-networks  terminology  reinforcement-learning  q-learning 

O Tensorflow tem um tutorial de exemplo sobre a classificação do CIFAR-10 . No tutorial, a perda média de entropia cruzada no lote é minimizada. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from …

14 neural-networks  loss-functions  tensorflow 

Em alguns tutoriais, constatei que a inicialização do peso "Xavier" (artigo: Entendendo a dificuldade de treinar redes neurais profundas de avanço ) é uma maneira eficiente de inicializar os pesos das redes neurais. Para camadas totalmente conectadas, havia uma regra prática nesses tutoriais: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, …

14 normal-distribution  variance  neural-networks  conv-neural-network 

O teorema da aproximação universal é um resultado bastante famoso para redes neurais, basicamente afirmando que, sob algumas suposições, uma função pode ser uniformemente aproximada por uma rede neural com precisão. Existe algum resultado análogo que se aplica às redes neurais convolucionais?

14 neural-networks  conv-neural-network  approximation 

Estou confuso com a definição de modelo não paramétrico depois de ler este link Modelos paramétricos versus modelos não paramétricos e responder aos comentários da minha outra pergunta . Originalmente, pensei que "paramétrico versus não paramétrico" significa se temos suposições de distribuição no modelo (semelhante ao teste de hipótese paramétrica …

14 machine-learning  neural-networks  nonparametric  terminology  parametric 

No artigo de 2015 da DeepMind sobre aprendizado profundo por reforço, ele afirma que "as tentativas anteriores de combinar RL com redes neurais falharam amplamente devido ao aprendizado instável". O artigo lista algumas causas disso, com base nas correlações entre as observações. Por favor, alguém poderia explicar o que isso …

13 machine-learning  neural-networks  deep-learning  reinforcement-learning 

Eu tenho dados brutos que possuem cerca de 20 colunas (20 recursos). Dez deles são dados contínuos e 10 deles são categóricos. Alguns dos dados categóricos podem ter 50 valores diferentes (Estados dos EUA). Depois que eu pré-processo os dados, as 10 colunas contínuas se tornam 10 colunas preparadas e …

13 machine-learning  neural-networks  tensorflow  data-preprocessing  theano 

Eu li alguns artigos sobre imagens manualmente inventadas para "enganar" uma rede neural (veja abaixo). Isso ocorre porque as redes modelam apenas a probabilidade condicional p ( y| x)p(y|x)p(y|x) ? Se uma rede puder modelar a probabilidade conjunta p ( y, X )p(y,x)p(y,x) , esses casos ainda ocorrerão? Meu palpite …

13 machine-learning  neural-networks  deep-learning 

Pesquisei no Google, Wikipedia, Google Scholar e mais, mas não consegui encontrar a origem dos Autoencoders. Talvez seja um desses conceitos que evoluiu muito gradualmente, e é impossível traçar um ponto de partida claro, mas ainda assim eu gostaria de encontrar algum tipo de resumo das principais etapas de seu …

13 neural-networks  autoencoders  history 

Na minha opinião, os dados de entrada correlacionados devem levar ao sobreajuste nas redes neurais, porque a rede aprende a correlação, por exemplo, ruído nos dados. Isso está correto?

13 correlation  neural-networks  overfitting 

Ao inicializar pesos de conexão em uma rede neural de feedforward, é importante inicializá-los aleatoriamente para evitar simetrias que o algoritmo de aprendizado não seria capaz de quebrar. A recomendação que vi em vários locais (por exemplo, no tutorial MNIST do TensorFlow ) é usar a distribuição normal truncada usando …

13 neural-networks  backpropagation  weights  truncated-normal 

Estou usando uma rede lstm e feed-forward para classificar o texto. Converto o texto em vetores muito quentes e alimento cada um no lstm para que eu possa resumir como uma única representação. Então eu o alimento para a outra rede. Mas como eu treino o lstm? Eu só quero …

13 classification  neural-networks  deep-learning  lstm 

Eu estava lendo o livro de Yoshua Bengio sobre aprendizado profundo e está escrito na página 224: As redes convolucionais são simplesmente redes neurais que usam a convolução no lugar da multiplicação geral da matriz em pelo menos uma de suas camadas. no entanto, eu não tinha 100% de certeza …

13 machine-learning  neural-networks  deep-learning  convolution 

Estou trabalhando em um pequeno projeto em que estamos tentando prever os preços de commodities (petróleo, alumínio, estanho, etc.) nos próximos 6 meses. Eu tenho 12 variáveis ​​para prever e tenho dados de abril de 2008 a maio de 2013. Como devo fazer previsões? Eu fiz o seguinte: Dados importados …

13 r  time-series  forecasting  neural-networks  arima 

Na maioria dos exemplos que vi até agora de redes neurais, a rede é usada para classificação e os nós são transformados com uma função sigmóide. No entanto, eu gostaria de usar uma rede neural para gerar um valor real contínuo (realisticamente, a saída estaria geralmente na faixa de -5 …

13 regression  neural-networks