Diferença entre recozimento simulado e múltiplos gananciosos

Estou tentando entender qual é a diferença entre o recozimento simulado e a execução de vários algoritmos gananciosos de escalada.

Pelo meu entendimento, o algoritmo ganancioso aumentará a pontuação para um máximo local, mas se começarmos com várias configurações aleatórias e aplicá-lo a todas elas, teremos vários máximos locais. Então escolhemos o máximo deles.

Isso será reproduzido da mesma forma que o recozimento simulado?

machine-learning optimization algorithms

— Bernardo Braga
fonte

O método que você descreve é chamado de alpinismo de reinicialização aleatória (ou, algumas vezes , alpinismo de espingarda ) e é um algoritmo diferente do recozimento simulado.

Sim, geralmente à medida que o número de iterações aumenta, os dois métodos acabam fornecendo um local que atinge um valor ideal global . Isso ocorre pela simples razão de que ambos incorporam pesquisa aleatória. Ou seja, um reinício aleatório (escalada) ou movimento aleatório (recozimento simulado) pode coincidir com um ótimo global. No entanto, aqui estão duas diferenças importantes: $k$ $w_i$ $w^*$

A reinicialização aleatória da subida sempre muda para um local aleatório após um número fixo de iterações . Em recozimento simulado, movendo-se para o local aleatório depende da temperatura do . $w_i$ $k$ $T$
A escalada aleatória na subida será movida para a melhor localização do bairro na fase de escalada. No recozimento simulado, o local é selecionado aleatoriamente, você sempre se move se for melhor que o seu local atual, mas com alguma probabilidade relacionada a você pode se mover mesmo que seja pior. $T$

O recozimento simulado é um algoritmo um pouco mais complicado e depende do cronograma de temperaturas que determina na iteração . Se a temperatura for ajustada para um valor constante muito pequeno, o recozimento simulado se tornará como uma escalada estocástica. Se estiver definido para um valor constante muito grande, o recozimento simulado se tornará como uma pesquisa aleatória. A maneira como você seleciona a programação de temperatura determina como você navega entre esses dois tipos diferentes de comportamento. $T$ $k$ $T$ $T$

tldr: esses são algoritmos diferentes, mas eles usam idéias semelhantes para incorporar amostragem aleatória na pesquisa.

— MachineEpsilon
fonte

A principal diferença (em estratégia) entre a pesquisa gananciosa e o recozimento simulado é que a pesquisa gananciosa sempre escolherá a melhor proposta, onde o recozimento simulado tem uma probabilidade (usando uma distribuição de Boltzman) de rejeitar isso e escolher uma proposta pior. Isso ajuda o algoritmo a encontrar um ótimo global saltando do ótimo local. Temp e outros parâmetros são apenas uma vantagem secundária (ou desvantagem) do SA.

— Jon