Perguntas com a marcação «deep-learning»

Estou treinando uma rede neural, mas a perda de treinamento não diminui. Como posso consertar isso? Não estou perguntando sobre ajuste excessivo ou regularização. Estou perguntando como resolver o problema em que o desempenho da minha rede não melhora no conjunto de treinamento . Essa questão é intencionalmente geral, de …

147 neural-networks  deep-learning 

O estado da arte da não linearidade é usar unidades lineares retificadas (ReLU) em vez da função sigmóide em redes neurais profundas. Quais são as vantagens? Sei que treinar uma rede quando o ReLU é usado seria mais rápido e com inspiração biológica, quais são as outras vantagens? (Ou seja, …

141 machine-learning  neural-networks  deep-learning 

Recentemente, tenho lido sobre aprendizagem profunda e estou confuso sobre os termos (ou digamos, tecnologias). Qual é a diferença entre Redes neurais convolucionais (CNN), Máquinas Boltzmann restritas (RBM) e Codificadores automáticos?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

Não vi a pergunta declarada precisamente nesses termos, e é por isso que faço uma nova pergunta. O que estou interessado em conhecer não é a definição de uma rede neural, mas entender a diferença real com uma rede neural profunda. Para mais contexto: eu sei o que é uma …

114 neural-networks  deep-learning 

Atualmente, estou fazendo o Udacity Deep Learning Tutorial. Na lição 3, eles falam sobre uma convolução 1x1. Essa convolução 1x1 é usada no Google Inception Module. Estou tendo problemas para entender o que é uma convolução 1x1. Eu também vi este post de Yann Lecun. Alguém poderia gentilmente me explicar …

106 neural-networks  deep-learning  convolution  conv-neural-network 

Existem algumas variações de como normalizar as imagens, mas a maioria parece usar esses dois métodos: Subtraia a média por canal calculada em todas as imagens (por exemplo, VGG_ILSVRC_16_layers ) Subtrair por pixel / canal calculado sobre todas as imagens (por exemplo , CNN_S , consulte também a rede de …

88 deep-learning  image-processing 

Nos últimos anos, as redes neurais convolucionais (ou talvez as redes neurais profundas em geral) tornaram-se cada vez mais profundas, com redes de ponta passando de 7 camadas ( AlexNet ) a 1000 camadas ( Redes Residuais) no espaço de 4 anos. A razão por trás do aumento no desempenho …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

Uma época em descida de gradiente estocástico é definida como uma única passagem pelos dados. Para cada minibatch SGD, amostras são coletadas, o gradiente calculado e os parâmetros atualizados. Na configuração de época, as amostras são coletadas sem substituição.kkk Mas isso parece desnecessário. Por que não desenhar cada minibatch do …

69 neural-networks  deep-learning  gradient-descent 

Estou tendo a impressão de que, quando as pessoas estão se referindo a uma rede de "crenças profundas", essa é basicamente uma rede neural, mas muito grande. Isso está correto ou uma profunda rede de crenças também implica que o algoritmo em si é diferente (ou seja, nenhuma rede neural …

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Eu queria saber se existem boas bibliotecas R por aí para redes neurais de aprendizado profundo? Eu sei que existe o nnet,, neuralnete RSNNS, mas nenhum deles parece implementar métodos de aprendizado profundo. Estou especialmente interessado em não supervisionado, seguido de aprendizado supervisionado e no uso da evasão para impedir …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

Eu sou novo na área de aprendizado profundo e, para mim, o primeiro passo foi ler artigos interessantes no site deeplearning.net. Em artigos sobre aprendizado profundo, Hinton e outros falam principalmente sobre como aplicá-lo a problemas de imagem. Alguém pode tentar me responder, pode ser aplicado ao problema de previsão …

54 time-series  machine-learning  prediction  deep-learning  deep-belief-networks 

Na maioria dos códigos de fluxo de tensão, o Adam Optimizer é usado com uma taxa de aprendizado constante de 1e-4(ou seja, 0,0001). O código geralmente tem a seguinte aparência: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

Existem redes neurais recorrentes e redes neurais recursivas. Ambos são geralmente indicados pela mesma sigla: RNN. Segundo a Wikipedia , o NN recorrente é de fato o NN recursivo, mas eu realmente não entendo a explicação. Além disso, não acho o que é melhor (com exemplos ou mais) para o …

48 machine-learning  neural-networks  deep-learning  natural-language 

Nos últimos anos, as Redes Neurais Convolucionais (CNNs) tornaram-se o estado da arte em reconhecimento de objetos em visão computacional. Normalmente, uma CNN consiste em várias camadas convolucionais, seguidas por duas camadas totalmente conectadas. Uma intuição por trás disso é que as camadas convolucionais aprendem uma melhor representação dos dados …

46 machine-learning  neural-networks  svm  deep-learning  conv-neural-network 

Em um post recente de Rong Ge, foi dito que: Acredita-se que, para muitos problemas, incluindo a aprendizagem de redes profundas, quase todos os mínimos locais tenham um valor de função muito semelhante ao ideal global e, portanto, encontrar um mínimo local é bom o suficiente. De onde vem essa …

46 machine-learning  neural-networks  optimization  deep-learning