Perguntas com a marcação «derivative»

Estou tentando entender como a retropropagação funciona para uma camada de saída softmax / entropia cruzada. A função de erro de entropia cruzada é E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j com ttt e ooo como alvo e saída no neurônio jjj , respectivamente. A soma é sobre cada neurônio na camada de …

40 backpropagation  derivative  softmax  cross-entropy 

Estou fazendo o curso de Machine Learning Stanford no Coursera. No capítulo Regressão logística, a função de custo é esta: Então, é derivado aqui: Tentei obter a derivada da função de custo, mas obtive algo completamente diferente. Como é obtido o derivado? Quais são as etapas intermediárias?

29 regression  logistic  gradient-descent  derivative 

Não tenho certeza se essa pergunta pertence aqui, mas está intimamente relacionada aos métodos de gradiente na otimização, que parecem estar no tópico aqui. De qualquer forma, sinta-se à vontade para migrar se você achar que alguma outra comunidade possui uma melhor experiência no tópico. Em resumo, estou procurando um …

27 optimization  derivative  tensorflow  automatic-differentiation 

No reconhecimento de padrões de livros e aprendizado de máquina (fórmula 1.27), fornece py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) | ondex=g(y)x=g(y)x=g(y),px(x)px(x)p_x(x)é o pdf que corresponde apy(y)py(y)p_y(y) com relação à alteração da variável. Os livros dizem que é porque as observações que caem no intervalo (x,x+δx)(x,x+δx)(x, x …

15 machine-learning  probability  self-study  derivative  jacobian 

Eu tenho um conjunto de dados que contém, digamos, algumas medidas de posição, velocidade e aceleração. Todos vêm da mesma "corrida". Eu poderia construir um sistema linear e ajustar um polinômio a todas essas medidas. Mas posso fazer o mesmo com splines? O que é uma maneira 'R' de fazer …

13 r  model  fitting  splines  derivative 

Acredito que a derivada de um processo gaussiano (GP) é outra GP e, portanto, gostaria de saber se existem equações de forma fechada para as equações de previsão da derivada de uma GP? Em particular, estou usando o núcleo de covariância exponencial ao quadrado (também chamado de Gaussiano) e quero …

12 stochastic-processes  gaussian-process  derivative 

No livro de Goodfellow (2016) sobre aprendizado profundo, ele falou sobre a equivalência da parada antecipada à regularização de L2 ( https://www.deeplearningbook.org/contents/regularization.html página 247). A aproximação quadrática da função de custo é dada por:jjj J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) onde é a matriz hessiana (Eq. 7.33). Isso está faltando no meio termo? A expansão …

11 neural-networks  deep-learning  loss-functions  derivative 

Já vi em alguns momentos o uso da derivada Radon-Nikodym de uma medida de probabilidade em relação a outra, principalmente na divergência de Kullback-Leibler, onde é a derivada da medida de probabilidade de um modelo para algum parâmetro arbitrário em relação ao parâmetro real :θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Onde ambas são …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

Entendo que as redes neurais (NNs) podem ser consideradas aproximadores universais de ambas as funções e suas derivadas, sob certas premissas (tanto na rede quanto na função de aproximação). De fato, eu fiz vários testes em funções simples, mas não triviais (por exemplo, polinômios), e parece que eu posso realmente …

11 machine-learning  neural-networks  function  derivative 

No curso de aprendizado de máquina de Andrew Ng, ele usa esta fórmula: ∇Atr(ABATC)=CAB+CTABT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T e ele faz uma prova rápida, que é mostrada abaixo: ∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + …

10 machine-learning  matrix  derivative 

Eu tenho tentado criar um programa para treinar redes neurais no meu computador. Para a rede em questão, decidi usar a função Erro de entropia cruzada: E=−∑jtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Onde é a saída alvo do neurônio e é a saída desse neurônio, tentando prever .tjtjt_jjjjojojo_jtjtjt_j Eu quero saber o …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations 

Muitas referências (incluindo a wikipedia e http://www.atmos.washington.edu/~dennis/MatrixCalculus.pdf e http://michael.orlitzky.com/articles/the_derivative_of_a_quadratic_form.php ) definem a derivada de um função por um vetor como derivadas parciais da função organizada em uma linha (portanto, uma derivada de uma função com valor escalar é um vetor de linha). Nesta convenção, o gradiente e a derivada do …

9 linear-algebra  derivative 

Eu sou novo no aprendizado profundo e estou tentando calcular a derivada da seguinte função em relação à matriz :ww\mathbf w p(a)=ew⊤axΣdew⊤dxp(a)=ewa⊤xΣdewd⊤xp(a) = \frac{e^{w_a^\top x}}{\Sigma_{d} e^{w_d^\top x}} Usando a regra do quociente, recebo: ∂p(a)∂w=xew⊤axΣdew⊤dx−ew⊤axΣdxew⊤dx[Σdew⊤dx]2=0∂p(a)∂w=xewa⊤xΣdewd⊤x−ewa⊤xΣdxewd⊤x[Σdewd⊤x]2=0\frac{\partial p(a)}{\partial w} = \frac{xe^{w_a^\top x}\Sigma_{d} e^{w_d^\top x} - e^{w_a^\top x}\Sigma_{d} xe^{w_d^\top x}}{[\Sigma_{d} e^{w_d^\top x}]^2} = 0 …

8 machine-learning  self-study  neural-networks  derivative  softmax