Perguntas com a marcação «backpropagation»

Esta é uma pequena questão conceitual que me incomoda há um tempo: como podemos retropropagar através de uma camada de pool máximo em uma rede neural? Me deparei com camadas de pool máximo durante o tutorial da biblioteca nn do Torch 7. A biblioteca abstrai o cálculo do gradiente e …

62 neural-network  backpropagation 

Eu tenho usado redes neurais por um tempo agora. No entanto, uma coisa com a qual luto constantemente é a seleção de um otimizador para treinar a rede (usando backprop). O que eu costumo fazer é apenas começar com um (por exemplo, SGD padrão) e, em seguida, tentar outros de …

18 neural-network  optimization  backpropagation 

Estou tendo alguma dificuldade em derivar a propagação com a ReLU e fiz algum trabalho, mas não tenho certeza se estou no caminho certo. Função de custo: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2em queyyyé o valor real, e y é um valor previsto. Suponha também quex> 0 sempre.y^y^\hat yxxx ReLU de 1 camada, em …

17 neural-network  backpropagation 

Superajustei meu LSTM se eu treiná-lo através da janela deslizante? Por que as pessoas parecem não usá-lo para LSTMs? Para um exemplo simplificado, suponha que tenhamos de prever a sequência de caracteres: A B C D E F G H I J K L M N O P Q R …

15 lstm  backpropagation  mini-batch-gradient-descent 

Eu tenho o seguinte CNN: Começo com uma imagem de entrada do tamanho 5x5 Em seguida, aplico a convolução usando o kernel 2x2 e stride = 1, que produz um mapa de recursos do tamanho 4x4. Em seguida, aplico o pool máximo 2x2 com stride = 2, que reduz o …

14 machine-learning  convnet  backpropagation  cnn  kernel 

Eu tenho uma pequena sub-pergunta a esta pergunta . Entendo que, quando se propaga de volta através de uma camada de pool máximo, o gradiente é roteado de volta de uma maneira que o neurônio na camada anterior, que foi selecionada como max, obtém todo o gradiente. O que eu …

13 machine-learning  neural-network  convnet  backpropagation 

Eu estava tentando implementar uma rede neural do zero para entender a matemática por trás dela. Meu problema está completamente relacionado à retropropagação quando adotamos derivada em relação ao viés) e deduzi todas as equações usadas na retropropagação. Agora, toda equação está de acordo com o código da rede neural, …

13 python  neural-network  backpropagation 

Estou tentando descobrir quantos pesos e preconceitos são necessários para a CNN. Digamos que eu tenho uma imagem (3, 32, 32) e quero aplicar um filtro (32, 5, 5). Para cada mapa de recursos, tenho pesos 5x5, portanto, devo ter 3 x (5x5) x 32 parâmetros. Agora eu preciso adicionar …

11 deep-learning  convnet  backpropagation 

Vamos supor que estamos usando um tamanho de lote de 100 amostras para aprender. Assim, em cada lote, o peso de cada neurônio (e viés, etc.) está sendo atualizado adicionando menos a taxa de aprendizado * o valor médio de erro que encontramos usando as 100 amostras * a derivada …

10 neural-network  deep-learning  backpropagation 

Eu tenho dois tensores a:[batch_size, dim] b:[batch_size, dim]. Quero fazer um produto interno para cada par do lote, gerando c:[batch_size, 1], onde c[i,0]=a[i,:].T*b[i,:]. Quão?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

Recentemente, fiz uma lição de casa em que tive que aprender um modelo para a classificação de 10 dígitos do MNIST. O HW tinha algum código de andaime e eu deveria trabalhar no contexto desse código. Meu dever de casa funciona / passa nos testes, mas agora estou tentando fazer …

8 backpropagation 

Eu posso ver dois motivos para usar Gradientes Sintéticos na RNN: Para acelerar o treinamento, corrigindo imediatamente cada camada com o gradiente previsto Ser capaz de aprender sequências mais longas Eu vejo problemas com os dois. Observe que eu realmente gosto de gradientes sintéticos e gostaria de implementá-los. Mas preciso …

8 backpropagation 

É um fato bem conhecido que uma rede de uma camada não pode prever a função xor, uma vez que não é linearmente separável. Tentei criar uma rede de duas camadas, usando a função sigmoide logística e backprop, para prever xor. Minha rede possui 2 neurônios (e um viés) na …

8 neural-network  backpropagation 

A imagem mostra uma camada típica em algum lugar da rede feed forward: a(k)iai(k)a_i^{(k)} é o valor de ativação do neurônio na camada .ithithi^{th}kthkthk^{th} W(k)ijWij(k)W_{ij}^{(k)} é o peso que liga neurónio na camada para a neurónio na camada.ithithi^{th}kthkthk^{th}jthjthj^{th}(k+1)th(k+1)th(k+1)^{th} z(k+1)jzj(k+1)z_j^{(k+1)} é o valor da função de pré-ativação do neurônio na camada …

7 backpropagation  theory  linear-algebra 

ReLU é uma função de ativação definida como h=max(0,a)h=max(0,a)h = \max(0, a)onde .a=Wx+ba=Wx+ba = Wx + b Normalmente, treinamos redes neurais com métodos de primeira ordem, como SGD, Adam, RMSprop, Adadelta ou Adagrad. A retropropagação em métodos de primeira ordem requer derivada de primeira ordem. Portanto é derivado de .xxx111 …

7 neural-network  optimization  backpropagation