Por que a descida do gradiente é ineficiente para grandes conjuntos de dados?

12

Digamos que nosso conjunto de dados contenha 1 milhão de exemplos, ou seja, , e desejamos usar a descida do gradiente para realizar uma regressão logística ou linear nesse conjunto de dados. $x_1, \ldots, x_{10^6}$

O que é o método do gradiente descendente que o torna ineficiente?

Lembre-se de que a etapa de descida do gradiente no tempo é dada por: $t$

w_{t + 1} = w_{t} + η_{t} \nabla f (x)

$w_{t+1} = w_{t} + \eta_t \nabla f(x)$

onde é a função de perda. $f$

Não estou vendo nada fora do comum com a etapa acima que faz com que o algoritmo seja ineficiente. É o cálculo de ? Esta operação não pôde ser pré-calculada, ou seja, cada $\nabla f(x)$ já calculado, e simplesmente avaliá-los em cada ponto de dados $\frac{\partial f}{\partial x}$ $x_i?$

machine-learning gradient-descent large-data

— Carlos - o Mangusto - Perigo
fonte

Ineficiente em relação a ...? Até os mínimos quadrados são ineficientes para um grande conjunto de dados. Você precisa da grande notação O para ter idéias significativas sobre o que o

faz com o algoritmo. Nem todos os algoritmos GD têm o mesmo grande O. (não é?)

n

$n$

— Adamo

7

Ajudaria se você fornecesse um contexto para a alegação de que a descida do gradiente é ineficiente. Ineficiente em relação a quê?

Acho que o contexto que falta aqui é a comparação com a descida estocástica ou gradiente em lote no aprendizado de máquina. Veja como responder à pergunta neste contexto. Você está otimizando os parâmetros do modelo, mesmo hiperparâmetros. Portanto, você tem a função de custo , onde - seus dados e - vetor de parâmetros e - função de perda. Para minimizar esse custo, use a descida do gradiente sobre os parâmetros : $\sum_{i=1}^n L(x_i|\Theta)$ $x_i$ $\Theta$ $L()$ $\theta_j$

\frac{\partial}{\partial θ_{j}} \sum_{i = 1}^{n} L (Θ | x_{i})

$\frac{\partial}{\partial \theta_j}\sum_{i=1}^nL(\Theta|x_i)$

Então, você vê que precisa obter a soma de todos os dados . Isso é lamentável, porque significa que você continua repetindo os dados para cada etapa da descida do gradiente. É assim que surge a descida do lote e do gradiente estocástico: e se amostrássemos a partir do conjunto de dados e calculássemos o gradiente em uma amostra, não o conjunto completo? $x_{i=1,\dots,n}$ Aqui,é o número de observações na amostra. Portanto, se sua amostra é 1/100 do conjunto total, você acelera seus cálculos em 100 vezes! Obviamente, isso introduz o ruído, o que prolonga o aprendizado, mas o ruído diminui na taxa de

\frac{\partial}{\partial θ_{j}} \sum_{k = 1}^{n_{s}} L (Θ | x_{k})

$\frac{\partial}{\partial \theta_j}\sum_{k=1}^{n_s}L(\Theta|x_k)$

n_{s}

$n_s$

s

$s$

enquanto o valor do cálculo aumenta em

, então esse truque pode funcionar.

\sqrt{n}

$\sqrt n$

n

$n$

Como alternativa, insteado aguardando até a soma total ser calculada, você pode dividir isso em lotes e fazer uma etapa para cada lote . Dessa forma, você teria executado M etapas no momento em que a soma de todo o conjunto de dados é calculada. Estes seriam passos mais ruidosos, mas o ruído é cancelado com o tempo. $\sum_{i=1}^n$ $\sum_{s=1}^M\sum_{i_s=1}^{n_s}$

— Aksakal
fonte

19

Existem duas maneiras pelas quais a descida do gradiente pode ser ineficiente. Curiosamente, cada um deles leva a seu próprio método de conserto, que são soluções quase opostas. Os dois problemas são:

(1) Muitas atualizações de descida de gradiente são necessárias.

(2) Cada etapa de descida de gradiente é muito cara.

Em relação a (1), comparando a descida do gradiente com os métodos que levam em consideração as informações sobre as derivadas de segunda ordem, a descida do gradiente tende a ser altamente ineficiente em relação à melhoria da perda a cada iteração. Um método muito padrão, o Método de Newton , geralmente leva muito menos iterações para convergir, ou seja, para regressão logística, 10 iterações do Método de Newton geralmente terão perdas menores do que a solução fornecida por 5.000 iterações de descida de gradiente. Para regressão linear, isso é ainda mais extremo; existe uma solução de formulário fechado! No entanto, à medida que o número de preditores aumenta muito (por exemplo, mais de 500), o Método de Newton / solução direta para regressão linear pode se tornar muito caro por iteração devido à quantidade de operações de matriz necessárias, enquanto a descida do gradiente terá um custo consideravelmente menor por iteração.

$O(nk)$ $n$ $k$ $n = 10^{6}$ $k < 100$ $n = 10^{12}$ $k = 10^3$ será. Nesse caso, métodos que aproximam a derivada com base em subconjuntos menores de dados são mais atraentes, como a descida do gradiente estocástico .

Eu digo que essas correções são quase opostas, pois algo como o método de Newton é mais caro, mas mais eficiente (em termos de mudança na perda) por atualização, enquanto a descida estocástica do gradiente é realmente menos eficiente, mas muito mais computacionalmente mais barata por atualização.

— Cliff AB
fonte

k

$k$

2

@Learningonepageatatime: covariates = variáveis preditoras.

— Cliff AB

10

$L(w)$ $f(x)$ $L$ $w$ $x$ $w$ $x$

\nabla L (w) = (\frac{\partial L}{\partial w_{1}}, \dots, \frac{\partial L}{\partial w_{D}}),

$\nabla L(w) = \left(\frac{\partial L}{\partial w_1}, \dots, \frac{\partial L}{\partial w_D} \right),$

D

$D$

$w$ $x$

L (w) = \sum_{i = 1}^{N} (y_{i} - w^{T} x_{i})^{2} .

$L(w) = \sum_{i=1}^N (y_i - w^Tx_i)^2.$

\nabla L (w)

$\nabla L(w)$

w

$w$

N

$N$

x

$x$

N = 10^{6}

$N = 10^6$

— tddevlin
fonte

3

Resposta curta: O cálculo do gradiente precisa somar todos os pontos de dados. Se tivermos uma grande quantidade de dados, leva muito tempo.

Eu tenho uma resposta detalhada aqui.

Como a descida estocástica do gradiente poderia economizar tempo em comparação com a descida padrão do gradiente?

Por outro lado, sempre lembre-se de que existem métodos diretos, além dos métodos iterativos (gradiente decente). Se queremos resolver um problema do quadrado mínimo, o método direto pode ser super eficiente. Por exemplo, decomposição QR. Se não temos muitos recursos, é muito rápido.

Quando você o verifica, pode surpreendê-lo: 5 milhões de pontos de dados com 2 recursos, a resolução da regressão linear / mínimo quadrado leva alguns segundos!

x=matrix(runif(1e7),ncol=2)
y=runif(5e6)
start_time <- Sys.time()
lm(y~x)
end_time <- Sys.time()
end_time - start_time
# Time difference of 4.299081 secs

— Haitao Du
fonte

1

Embora os dois exemplos que você mencionou sejam geralmente convexos, acrescentarei um ponto sobre problemas não convexos. Na minha opinião, existem duas razões principais pelas quais a descida do gradiente (em lote) pode ser considerada "ineficiente". O primeiro ponto sobre o esforço computacional de calcular o gradiente de uma soma "grande" de funções já foi muito claramente delineado nas outras respostas. Para problemas não convexos, no entanto, a GD tem o problema de geralmente ficar preso em um mínimo local "próximo". Esse mínimo pode ser muito ruim em comparação com o mínimo global. O SGD ou o mini-lote GD têm a "vantagem" de vagar (pelo menos parcialmente) aleatoriamente e, portanto, podem ter a chance de encontrar um mínimo local melhor. Veja esta resposta do CV aqui . Ou este outro post de currículo descrevendo como a aleatoriedade pode ser benéfica.

— xel
fonte