Heurísticas para Otimização

Já que é sexta-feira, é hora de uma pergunta da CW. Estou procurando heurísticas que tenham amplo uso em problemas de otimização. Para limitar o escopo a heurísticas mais "amigáveis ​​à teoria", eis as regras (algumas arbitrárias, outras não)

• Deve ser um método bem definido, sem inúmeros parâmetros e com um tempo de execução concreto (talvez por iteração)
• Deve ter alguns resultados teóricos conhecidos associados a ela (taxa de convergência, limites de aproximação, se houver, propriedades estacionárias e assim por diante)
• Ele deve ter ampla aplicabilidade e pelo menos um aplicativo principal em que seja o método de escolha ou um de alguns.
• não deve ser inspirado pela natureza (embora isso pareça uma objeção frívola, estou tentando excluir algoritmos genéticos, otimização de colônias de formigas etc.).

Idealmente, as respostas devem estar no seguinte formato: aqui está um exemplo.

Nome : Otimização alternada

Objetivo : Minimizar uma função (geralmente não-convexa) $f(x,y)$

$g(x) = \min_y f(x,y)$$h(y) = \min_x f(x,y)$

Algoritmo : a iteração $i^{\text{th}}$ começa com $x_i, y_i$ .

1. $x_{i+1} \leftarrow \arg \min_x f(x, y_i)$
2. $y_{i+1} \leftarrow \arg\min_y f(x_{i+1}, y)$

Aplicativo mais conhecido : significa, par mais próximo iterado.$k$

Teoria : Resultados conhecidos em médias , condições gerais suficientes para otimizar a estrutura global$k$

ps Você pode achar que sua resposta termina como uma palestra em um seminário sobre algoritmos que estou planejando :)

$\sum w(\theta)F(\theta)^2$$\theta\in R^n$$F(\theta) \in R^m$$w(\theta)\in R$


$L_p$