Por que usar descida gradiente com redes neurais?

Ao treinar uma rede neural usando o algoritmo de retropropagação, o método de descida de gradiente é usado para determinar as atualizações de peso. Minha pergunta é: Em vez de usar o método de descida de gradiente para localizar lentamente o ponto mínimo com relação a um determinado peso, por que não definimos a derivada , e encontre o valor do peso que minimiza o erro? $\frac{d(\text{Error})}{dw}=0$ $w$
Além disso, por que temos certeza de que a função de erro na propagação traseira será mínima? Não é possível que a função de erro seja máxima? Existe uma propriedade específica das funções de esmagamento que garanta que uma rede com qualquer número de nós ocultos com pesos arbitrários e vetores de entrada sempre dê uma função de erro com alguns mínimos?

neural-networks gradient-descent backpropagation

— Minaj
fonte

Todos os títulos de maiúsculas não são padrão aqui (por favor, olhe ao seu redor) e aqui e em outros lugares amplamente obsoletos como SHOUTING indesejável.

— Nick Cox

@Nick Cox minhas desculpas

— Minaj

É interessante ver sempre que variáveis ocultas ou latentes são usadas nos modelos de Machine Learning, a otimização (quase?) Sempre fica não linear, não convexa e apenas mais difícil de otimizar.

— Vladislavs Dovgalecs

Para sua informação, por que o método de Newton não é amplamente utilizado no aprendizado de máquina?

— Franck Dernoncourt 30/12/16

Respostas:

Porque nós não podemos. A superfície de otimização em função dos pesos é não linear e não existe solução de forma fechada para $S(\mathbf{w})$ $\mathbf{w}$ . $\frac{d S(\mathbf{w})}{d\mathbf{w}}=0$
A descida do gradiente, por definição, desce. Se você atingir um ponto estacionário após a descida, ele deverá ser um mínimo (local) ou um ponto de sela, mas nunca um máximo local.

— Marc Claesen
fonte

Se a função fosse côncava, o gradiente decente diminuiria para sempre, pois o único caminho a seguir é para baixo. Você está dizendo que a superfície de erro é garantida para não ser côncava? Além disso, não está claro para mim por que a derivada da função de erro não teria solução de forma fechada. Não é o erro do formulário

onde K é uma constante? Essa função parece bastante diferenciável e a expressão resultante analiticamente solucionável. Por favor, ajude-me a esclarecer, pois há algo que claramente não vejo.

K - \frac{1}{1 + e^{Σ w x}}

$K-\frac{1}{1+e^{\Sigma wx}}$

— Minaj

Isso não pode acontecer, porque todas as funções de erro usadas com frequência têm um mínimo teórico estrito de 0. Os erros nunca podem se tornar negativos.

— Marc Claesen

Uma outra interpretação possível de 1. é "É exatamente isso que fazemos, a equação é resolvida usando a descida do gradiente".

— Matthew Drury

claramente existe uma forma fechada para o gradiente (é assim que fazemos a descida do gradiente com eficiência). O problema não é raiz de forma fechada do gradiente = 0

— seanv507

@ seanv507 é o que eu pretendia dizer, desculpe pela confusão. Editou minha postagem.

— Marc Claesen

Em relação à resposta de Marc Claesen, acredito que a descida do gradiente pode parar no máximo local em situações em que você inicializa no máximo local ou acaba por aí devido a má sorte ou a um parâmetro de taxa de desvio de direção. O máximo local teria gradiente zero e o algoritmo pensaria que havia convergido. É por isso que geralmente executo várias iterações de diferentes pontos de partida e acompanho os valores ao longo do caminho.

— Jared Becksfort
fonte

Editei seu comentário de preâmbulo, pois parece que você já está atraindo votos positivos! Bem vindo ao site!

— Matthew Drury

Obrigado! Eu não tinha certeza se deveria ser um comentário ou uma resposta e não queria que minha primeira resposta fosse rebaixada ao esquecimento com base nisso.

— Jared Becksfort 13/11/2015

$\frac{d(\text{error})}{dw}=0$

É preciso lidar com segundos derivados (o Hessian, especificamente produtos com vetores Hessian).
O "passo de solução" é muito caro em termos de computação: no tempo que leva para fazer uma solução, pode-se ter feito muitas iterações de descida de gradiente.

Se alguém usa um método de Krylov para resolver o Hessiano e não usa um bom pré-condicionador para o Hessiano, os custos se equilibram aproximadamente - as iterações de Newton demoram muito mais, mas fazem mais progresso, de modo que o tempo total seja aproximadamente o mesmo ou mais lento que a descida do gradiente. Por outro lado, se alguém tem um bom pré-condicionador de Hess, o método de Newton ganha muito.

Dito isto, os métodos Newton-Krylov da região de confiança são o padrão-ouro na otimização moderna em larga escala, e eu esperaria que o uso deles aumentasse nas redes neurais nos próximos anos, pois as pessoas querem resolver problemas cada vez maiores. (e também à medida que mais pessoas em otimização numérica se interessam por aprendizado de máquina)

— Nick Alger
fonte

Eu acho que você está enganado. As pessoas usam redes desde os anos 90 e conhecem bem os métodos de segunda ordem. o problema é precisamente que as redes são bem-sucedidas quando há muitos dados, os quais suportam muitos parâmetros. Nesse caso, as restrições de tempo e memória dos métodos de segunda ordem são ineficazes. veja, por exemplo, leon.bottou.org/publications/pdf/compstat-2010.pdf

— seanv507

@ seanv507 Na verdade não. A discussão dos métodos de segunda ordem nesse artigo apresenta muitas falhas, na medida em que eles assumem que é preciso construir e inverter todo o denso Hessiano para usar os métodos de segunda ordem. Simplesmente não é assim que é feito na otimização numérica moderna em larga escala. Nos métodos modernos de segunda ordem, calcula-se a ação do hessiano em vetores, resolvendo problemas adjuntos, e os utiliza em um solucionador iterativo (Krylov). Geralmente, a primeira iteração interna retorna a direção do gradiente e as iterações subsequentes a aprimoram.

— Nick Alger

Embora eu não seja um fã em particular desse artigo, não acho que isso seja verdade. Ele já discutiu / implementou aproximações de diagonal e de classificação reduzida do hessian. E o que dizer do rápido artigo de pearlmutter de 1994 sobre a multiplicação exata por hessian?

— seanv507

Direita. Depois de ter aplicações rápidas do Hessian (seja através do Pearlmutter ou do que você tem), você pode resolver o Hessian inexato com métodos de Krylov, como gradiente conjugado. Ao fazer isso, efetivamente transfere-se as dificuldades de mau condicionamento para longe do otimizador iterativo não-linear, para o solucionador iterativo de álgebra linear, onde há muitas máquinas e técnicas de pré-condicionamento disponíveis para lidar com o problema. Uma boa referência é a seção sobre a região de confiança CG-Steihaug no clássico "Numerical Optimization" de Nocedal e Wright.

— Nick Alger

O que quero dizer é que essa multiplicação por gradientes hessianos e conjugados era conhecida na comunidade de redes desde 1994. Portanto, acredito que há definitivamente uma razão pela qual o SGD é usado, em vez de métodos de segunda ordem (e eu certamente gostaria de uma resolução clara de por que isso é )

— seanv507