mínimos locais vs pontos de sela na aprendizagem profunda

Ouvi Andrew Ng (em um vídeo que infelizmente não consigo mais encontrar) falar sobre como a compreensão dos mínimos locais em problemas de aprendizagem profunda mudou no sentido de que agora eles são considerados menos problemáticos porque em espaços de alta dimensão (encontrados em aprendizado profundo) é mais provável que os pontos críticos sejam pontos de sela ou platôs, em vez de mínimos locais.

Eu já vi artigos (por exemplo, este ) que discutem suposições sob as quais "todo mínimo local é um mínimo global". Essas suposições são todas bastante técnicas, mas pelo que entendi elas tendem a impor uma estrutura na rede neural que a torna um tanto linear.

É uma afirmação válida de que, no aprendizado profundo (incluindo arquiteturas não lineares), os platôs são mais prováveis que os mínimos locais? E se sim, existe uma intuição (possivelmente matemática) por trás disso?

Existe algo em particular sobre aprendizado profundo e pontos de sela?

— oW_
fonte

Quando se trata da intuição matemática, por que um ponto de sela é mais provável que um mínimo local, eu pensaria nisso em termos de recursos. Para ser um mínimo local, deve ser um mínimo local em todas as direções. Por outro lado, para um ponto de sela, apenas uma direção deve ser diferente das outras. É muito mais provável que um ou mais tenham comportamentos diferentes dos outros, em comparação com o mesmo comportamento em todas as direções.

— Paul

obrigado, agora que você disse isso, é meio óbvio ... aqui está uma discussão interessante sobre o tópico

— oW_

Andrew Ng tem um vídeo sobre "O problema dos mínimos locais" na semana 2 do seu curso Coursera, "Melhorando as redes neurais profundas: ajuste de hiperparâmetro, regularização e otimização". Talvez seja o que você está procurando.

— Mjul

dê uma olhada aqui

— Media

Respostas:

Isso está simplesmente tentando transmitir minha intuição, ou seja, sem rigor. A questão dos pontos de sela é que eles são um tipo de ótimo que combina uma combinação de mínimos e máximos. Como o número de dimensões é tão grande com o aprendizado profundo, a probabilidade de que um ótimo consista apenas em uma combinação de mínimos é muito baixa. Isso significa que "ficar preso" no mínimo local é raro. Correndo o risco de simplificar demais, é mais difícil "ficar preso" em um ponto de sela, porque você pode "deslizar uma das dimensões". Acho que o vídeo de Andrew Ng a que você se refere vem do curso Coursera sobre Deep Learning por ele.

— user41985
fonte

D = [\begin{matrix} d_{1} \\ ⋱ \\ d_{n} \end{matrix}]

$D = \begin{bmatrix} d_{1} & & \\ & \ddots & \\ & & d_{n} \end{bmatrix}$

d_{1} > 0, \dots, d_{n} > 0

$d_1 > 0, \dots, d_n>0$

$d_1,\dots,d_n$ $d_i$ $1/2$ $d_i$ $d_j$ , devido à alta não linearidade da matriz hessiana, consideraremos as probabilidades de que sejam positivas como eventos independentes.

P (d_{1} > 0 0, ..., d_{n} > 0 0) = P (d_{1} > 0 0) \cdot \dots \cdot P (d_{n} > 0 0) = \frac{1}{2^{n}}

$P(d_1 > 0, \dots, d_n > 0) = P(d_1 > 0)\cdot \cdots \cdot P(d_n > 0) = \frac{1}{2^n}$

A probabilidade de qualquer ponto crítico ser mínimo diminui exponencialmente com a dimensão do espaço de entrada. No aprendizado profundo, esse espaço pode variar de 1000 a $10^8$ $1/2^n$

Mas e o maxima?

$1/2 ^n$

P (s uma d d eu e) = 1 - P (m uma x Eu m você m) - P (m Eu n Eu m você m) = 1 - \frac{1}{2^{n}} - \frac{1}{2^{n}} = 1 - \frac{1}{2^{n - 1}}

$P(saddle) = 1 - P(maximum) - P(minimum) = 1 - \frac{1}{2^n} - \frac{1}{2^n} = 1 - \frac{1}{2^{n-1}}$

$n$

— David Masip
fonte