Parece que o teste FK deve ser preferido em caso de forte afastamento da normalidade (à qual o teste de Bartlett é sensato). Citando a ajuda on-line,
O teste de Fligner-Killeen (mediana) foi determinado em um estudo de simulação como um dos muitos testes de homogeneidade de variações mais robustos contra desvios da normalidade, ver Conover, Johnson & Johnson (1981).
De um modo geral, o teste Levene funciona bem na estrutura ANOVA, desde que haja pequenos a moderados desvios da normalidade. Nesse caso, supera o teste de Bartlett. Se a distribuição estiver quase normal, no entanto, o teste de Bartlett é melhor. Também ouvi falar do teste de Brown – Forsythe como uma alternativa não paramétrica ao teste de Levene. Basicamente, depende da mediana ou da média aparada (em comparação com a média no teste de Levene). Segundo Brown e Forsythe (1974), um teste baseado na média forneceu a melhor potência para distribuições simétricas com caudas moderadas.
Em conclusão, eu diria que, se houver fortes evidências de afastamento da normalidade (como, por exemplo, com a ajuda de um gráfico de QQ), use um teste não paramétrico (teste FK ou BF); caso contrário, use o teste Levene ou Bartlett.
Também houve uma pequena discussão sobre esse teste para amostras pequenas e grandes no R Journal, no ano passado, asympTest: Um pacote R simples para testes estatísticos paramétricos clássicos e intervalos de confiança em amostras grandes . Parece que o teste FK também está disponível através da coininterface para testes de permutação, veja a vinheta .
Referências
Brown, MB e Forsythe, AB (1974). Testes Robustos para Igualdade de Variâncias. JASA , 69 , 364-367.