O que significa "baunilha"?

Nos blogs de aprendizado de máquina, encontro frequentemente a palavra "baunilha". Por exemplo, "Descida de gradiente de baunilha" ou "método de baunilha". Esse termo nunca é visto literalmente em nenhum livro didático de otimização.

Por exemplo, neste post , ele diz:

Essa é a forma mais simples da técnica de descida de gradiente. Aqui, baunilha significa puro / sem adulteração. Sua principal característica é que damos pequenos passos na direção dos mínimos, dando um gradiente na função de custo.

Diga, o que significa "adulteração" nesse contexto? O autor vai além, contrastando a descida do gradiente de baunilha com a descida do gradiente com impulso. Portanto, neste caso, descida de gradiente de baunilha é outra palavra para descida de gradiente.

Em outro post , diz:

Descida de gradiente de baunilha, também conhecida como descida de gradiente ...

Infelizmente, eu nunca ouvi falar de descida de gradiente de lote também. Oh garoto.

Alguém pode esclarecer o que significa "baunilha" e se existe uma definição matemática mais firme?

Baunilha significa uma versão padrão, usual ou não modificada de algo. Descida de gradiente de baunilha significa o algoritmo básico de descida de gradiente sem sinos ou assobios.

Existem muitas variantes na descida do gradiente. Na descida de gradiente usual (também conhecida como descida de gradiente em lote ou descida de gradiente de baunilha), o gradiente é calculado como a média do gradiente de cada ponto de dados.

$$\nabla f = \frac{1}{n}\sum_i \nabla \text{loss}(x_i)$$

Na descida do gradiente estocástico com um tamanho de lote de um, podemos estimar o gradiente como

$$\nabla f \approx \nabla \text{loss}(x^*)$$ , Onde $x^*$é amostrado aleatoriamente em todo o conjunto de dados. É uma variante da descida normal do gradiente, portanto não seria descida do gradiente de baunilha. No entanto, como até a descida do gradiente estocástico tem muitas variantes, você pode chamar isso de "descida do gradiente estocástico de baunilha", ao compará-lo com outras alternativas mais sofisticadas de SGD, por exemplo, SGD com momento.