Por que otimizar a probabilidade máxima de log em vez da probabilidade

Na maioria das tarefas de aprendizado de máquina, nas quais é possível formular alguma probabilidade que deve ser maximizada, na verdade, otimizaríamos a probabilidade do log vez da probabilidade para alguns parâmetros . Por exemplo, no treinamento de probabilidade máxima, geralmente é a probabilidade de log. Ao fazer isso com algum método de gradiente, isso envolve um fator:$p$$\log p$$\theta$

$$\frac{\partial \log p}{\partial \theta} = \frac{1}{p} \cdot \frac{\partial p}{\partial \theta}$$

Veja aqui ou aqui para alguns exemplos.

Obviamente, a otimização é equivalente, mas o gradiente será diferente, portanto, qualquer método baseado em gradiente se comportará diferente (especialmente métodos de gradiente estocástico). Existe alguma justificativa para que o gradiente funcione melhor que o gradiente ?$\log p$$p$

Os métodos de gradiente geralmente funcionam melhor com a otimização de que porque o gradiente de geralmente é mais bem dimensionado . Ou seja, ele tem um tamanho que reflete de forma consistente e útil a geometria da função objetivo, facilitando a seleção de um tamanho de etapa apropriado e a otimização em menos etapas.p ( x ) log p ( x $\log p(x)$$p(x)$$\log p(x)$

Para ver o que quer dizer, comparar o processo de optimização gradiente para e . Em qualquer ponto , o gradiente de éSe multiplicarmos por , obteremos o tamanho exato da etapa necessária para atingir o ideal global na origem, não importa o quef ( x ) = log p ( x ) = - x 2 x f ( x ) f ' ( x ) = - 2 x . 1 / 2 $p(x) = \exp(-x^2)$$f(x) = \log p(x) = -x^2$$x$$f(x)$

$$f'(x) = -2x.$$ $1/2$$x$é. Isso significa que não precisamos trabalhar muito para obter um bom tamanho da etapa (ou "taxa de aprendizado" no jargão da ML). Não importa onde esteja nosso ponto inicial, basta definir nosso passo para metade do gradiente e estaremos na origem em um único passo. E se não soubermos o fator exato necessário, podemos escolher um tamanho de etapa em torno de 1, fazer uma pesquisa de linha e encontraremos um ótimo tamanho de etapa muito rapidamente, que funcione bem, não importa onde é. Essa propriedade é robusta para conversão e dimensionamento de f ( x ) . Embora a escala f ( x ) faça com que a escala ideal de etapas seja diferente de 1/2, pelo menos a escala de etapas será a mesma, independentemente de $x$$f(x)$$f(x)$$x$é, portanto, precisamos encontrar apenas um parâmetro para obter um esquema de otimização baseado em gradiente eficiente.

Por outro lado, o gradiente de possui propriedades globais muito ruins para otimização. Temos p ′ ( x ) = f ′ ( x ) p ( x ) = - 2 x exp ( - x 2 ) . Isso multiplica o gradiente perfeitamente agradável e bem comportado - 2 x com um fator exp ( - x 2 ) que decai (mais rápido que) exponencialmente como $p(x)$

$$p'(x) = f'(x) p(x)= -2x \exp(-x^2).$$ $-2x$$\exp(-x^2)$$x$aumenta. No , já temos exp ( - x 2 ) = 1,4 ⋅ 10 - 11 , de modo que um passo ao longo do gradiente de vector é de cerca de 10 - 11 vezes demasiado pequena. Para obter um tamanho de passo razoável em direção ao ótimo, teríamos que escalar o gradiente pelo inverso disso, uma constante enorme ∼ 10 11 . Um gradiente tão mal dimensionado é pior do que inútil para fins de otimização - seria melhor tentar apenas uma etapa unitária na direção da subida do que definir nossa etapa escalando contra p ′ ( x $x = 5$$\exp(-x^2) = 1.4 \cdot 10^{-11}$$10^{-11}$$\sim 10^{11}$$p'(x)$! (Em muitas variáveis, se torna um pouco mais útil, pois pelo menos obtemos informações direcionais do gradiente, mas o problema de dimensionamento permanece.)$p'(x)$

Em geral, não há garantia de que o tenha excelentes propriedades de escala de gradiente como este exemplo de brinquedo, especialmente quando tivermos mais de uma variável. No entanto, para praticamente qualquer problema não trivial, o log p ( x ) será muito, muito melhor que o p ( x ) . Isso ocorre porque a probabilidade é de um grande produto com vários termos, e o log transforma esse produto em uma soma, conforme observado em várias outras respostas. Desde que os termos de probabilidade sejam bem comportados do ponto de vista da otimização, seu log geralmente é bem comportado e a soma de funções bem comportadas é bem comportada. Por$\log p(x)$$\log p(x)$$p(x)$$f''(x)$

Underflow

O computador usa uma representação de frações de ponto flutuante de dígito limitado, multiplicando tantas probabilidades que é garantida uma proximidade muito próxima de zero.

Com o , não temos esse problema.$log$

1. O logaritmo da probabilidade de múltiplas probabilidades conjuntas simplifica a soma dos logaritmos das probabilidades individuais (e a regra da soma é mais fácil do que a regra do produto para diferenciação)

   $\log \left(\prod_i P(x_i)\right) = \sum_i \log \left( P(x_i)\right)$

2. O logaritmo de um membro da família de distribuições de probabilidade exponencial (que inclui o normal onipresente) é polinomial nos parâmetros (ou seja, a probabilidade máxima reduz os mínimos quadrados para distribuições normais)

   $\log\left(\exp\left(-\frac{1}{2}x^2\right)\right) = -\frac{1}{2}x^2$

3. A última forma é mais numericamente estável e simbolicamente mais fácil de diferenciar do que a anterior.

4. Por último, mas não menos importante, o logaritmo é uma transformação monotônica que preserva as localizações dos extremos (em particular, os parâmetros estimados em probabilidade máxima são idênticos para a formulação original e a transformação transformada em log)

É muito mais fácil usar uma derivada da soma dos logaritmos do que usar uma derivada do produto, que contém, digamos, 100 multiplicadores.

Como regra geral, o problema de otimização mais básico e fácil é otimizar uma função quadrática. Você pode encontrar facilmente o melhor de uma função, não importa por onde começar. Como isso se manifesta depende do método específico, mas quanto mais próxima sua função de uma quadrática, melhor.

Conforme observado por TemplateRex, em uma ampla variedade de problemas, as probabilidades que entram no cálculo da função de probabilidade provêm da distribuição normal ou são aproximadas por ela. Portanto, se você trabalha no log, obtém uma boa função quadrática. Considerando que, se você trabalha com as probabilidades, tem uma função que

1. Não é convexo (a desgraça dos algoritmos de otimização em todos os lugares)
2. Atravessa várias escalas rapidamente e, portanto, possui um intervalo muito estreito, onde os valores das funções são indicativos de onde direcionar sua pesquisa.

Qual função você prefere otimizar, isso ou aquilo ?

(Na verdade, foi fácil; em aplicações práticas, sua pesquisa pode começar tão longe do ideal que os valores e gradientes da função, mesmo que você possa calculá-los numericamente, sejam indistinguíveis de 0 e inúteis para os propósitos da otimização. Mas a transformação para uma função quadrática torna isso um pedaço de bolo.)

Observe que isso é completamente consistente com os problemas de estabilidade numérica já mencionados. O motivo pelo qual a escala do log é necessária para trabalhar com essa função é exatamente o mesmo motivo pelo qual a probabilidade do log é muito melhor comportada (para otimização e outros fins) do que a original.

Você também pode abordar isso de outra maneira. Mesmo se não houvesse vantagem no log (o que existe) - usaremos a escala de log de qualquer maneira para derivações e cálculos; então, por que motivo aplicar a transformação exp apenas para calcular o gradiente? Também podemos permanecer consistentes com o registro.

$\ln p$$p$$L(x|\theta)=\Pi_{i=1}^n f(x_i|\theta)$$f(.)$

$n$$L(.)$$L\sim f(.)^n$

Ao fazer um log, simplesmente melhoramos a faixa dinâmica de qualquer algoritmo de otimização, permitindo que ele trabalhe com valores extremamente grandes ou pequenos da mesma maneira.

Algumas respostas legais já foram dadas. Mas eu encontrei recentemente um novo:

$\mathcal{X}$$p(x|\theta)$$x \in \mathcal{X}$

$$p(\mathcal{X}|\theta) = \prod_{x\in\mathcal{X}} p(x|\theta) .$$ $L$$L(\mathcal{X'}|\theta)$$\mathcal{X'} \subset \mathcal{X}$ $$\theta' := \theta - \frac{\partial \sum_{x\in\mathcal{X'}} L(x|\theta)}{\partial \theta} .$$ $$L(\mathcal{X}|\theta) = \sum_{x\in\mathcal{X}} L(x|\theta) .$$ $$L(x|\theta) = -\log p(x|\theta) .$$