Como analisar experimentalmente o desempenho de um algoritmo genético?

Eu tenho um algoritmo genético para um problema de otimização. Plotei o tempo de execução do algoritmo em várias execuções na mesma entrada e nos mesmos parâmetros (tamanho da população, tamanho da geração, cruzamento, mutação).

O tempo de execução muda entre as execuções. Isso é normal?

Também notei que, contra a minha expectativa, o tempo de execução às vezes diminui, em vez de aumentar quando o executo em uma entrada maior. Isso é esperado?

Como posso analisar o desempenho do meu algoritmo genético experimentalmente?

A abordagem típica é executar várias execuções do algoritmo evolutivo (EA) e plotar o desempenho médio ao longo do tempo (desempenho médio da média da população NÃO com melhor desempenho individual ).

Uma boa regra geral é realizar no mínimo 30 execuções (é claro que 50 a 100 execuções são melhores).

A média é melhor do que o melhor valor alcançado em um conjunto de execuções, mas a variação também deve ser levada em consideração.

Existem alguns bons exemplos no site de Randy Olson :

A adequação média de ambos os algoritmos ao longo de várias réplicas. A partir deste gráfico, concluiríamos que nosso algoritmo tem desempenho melhor que o melhor algoritmo atual em média.

A aptidão média com um intervalo de confiança de 95% para cada algoritmo. Este gráfico mostra que nosso algoritmo não tem um desempenho melhor do que o atual e apenas parecia ter um desempenho melhor em média devido ao acaso.

A análise básica de como calcular um intervalo de confiança para uma média da população é a seguinte:

1. Identifique a média da amostra $\bar{x}$. Enquanto$\bar{x}$ é diferente de $\mu$, média da população, eles ainda são calculados da mesma maneira:

   $$\bar{x} = \sum {x_{i} \over n}$$

2. Identifique o desvio padrão da amostra (corrigido) $s$:

   $$s = \sqrt{\frac{\sum_{i=1}^{n}{(x_i - \bar{x})^2}} {n-1}}$$ $s$é uma estimativa do desvio padrão da população$\sigma$.

3. Calcular o valor crítico ,$t^*$, da distribuição Student-t. Esse valor depende do nível de confiança,$C$, e o número de observações, $n$.

   O valor crítico é encontrado na tabela de distribuição t (a maioria dos livros de estatística o lista). Nesta tabela$t^*$ está escrito como

   $$t^*(\alpha, r)$$ Onde $r = n-1$são os graus de liberdade (encontrados subtraindo um do número de observações) e$\alpha = {1-C \over 2}$é o nível de significância .

   Uma maneira melhor de uma crítica totalmente precisa $t^*$value é a função estatística implementada em planilhas (por exemplo, T.INV.2Tfunção ), ambientes de computação científica (por exemplo, SciPy stats.t.ppf), bibliotecas de idiomas (por exemplo, C ++ e boost::math::students_t).

4. Conecte os valores encontrados nas equações apropriadas:

   $$\left({\bar x} - t^{*}{\frac {s} {\sqrt n}}, {\bar x} + t^{*}{\frac {s} {\sqrt n}}\right)$$

5. O passo final é interpretar a resposta . Como a resposta encontrada é um intervalo com um limite superior e inferior, é apropriado afirmar que, com base nos dados fornecidos, a média real da população está entre o limite inferior e o limite superior com o nível de confiança escolhido.

Quanto mais os intervalos de confiança de dois algoritmos se sobrepuserem, maior a probabilidade de os algoritmos executarem o mesmo (ou não fizemos amostragem suficiente para discriminar entre os dois). Se os intervalos de confiança de 95% não se sobrepuserem, o algoritmo com o desempenho médio mais alto terá um desempenho significativamente melhor.

Na EA, a distribuição de origem nunca é normalmente normal e o que foi dito até agora formalmente se aplica apenas se for uma distribuição normal!

Na verdade, ainda diz muitas coisas. A tabela a seguir resume o desempenho dos intervalos t em quatro situações:

                             Normal curve | Not Normal curve
Small sample size (n < 30)      Good      |       Poor
Larger sample size (n ≥ 30)     Good      |       Fair

Para obter respostas mais precisas, estatísticas não paramétricas são o caminho a seguir (consulte Introdução à Estatística para Análise Experimental da CE por Mark Wineberg e Steffen Christensen para obter mais detalhes).

Resposta: você analisa o desempenho estatisticamente.

Por exemplo, veja a figura 3 deste documento: Uma estrada real de blocos de construção em que o cruzamento é comprovadamente essencial onde o desempenho de vários GA é comparado entre si.

O gráfico mostra alterações no condicionamento físico (eixo Y) versus número da iteração (eixo X). Cada algoritmo é executado várias vezes e a aptidão média, mínima e máxima são mostradas no gráfico . Portanto, mostrar claramente que algumas variações de GA têm melhor desempenho do que outras.

A convergência assintótica de aptidão sobre a iteração, conforme sugerido pela resposta de vzn, também é muito útil para a maioria dos casos.

...

(Exceto quando o condicionamento físico não converge quando você tem uma função de condicionamento físico em evolução).

a estratégia básica é representar graficamente a função de condicionamento físico ao longo do tempo. pode-se representar graficamente a adequação da melhor solução ou adequação média das soluções, a pior solução, etc. a melhor / pior exibirá propriedades semelhantes às escadas e a média mostrará uma convergência assintótica em direção ao ótimo alcançável pela AG. geralmente não existe realmente um "tempo de execução" a priori associado à busca de uma solução para os GAs; normalmente, o algoritmo é finalizado em um ponto "suficientemente bom" pela inspeção dessa curva assintótica.

veja, por exemplo, gráficos no final desta apresentação de slides:

• Algoritmo Genético para Seleção Variável Jennifer Pittman ISDS Duke University