Comparando dois resultados de precisão do classificador para significância estatística com o teste t

Quero comparar a precisão de dois classificadores quanto à significância estatística. Ambos os classificadores são executados no mesmo conjunto de dados. Isso me leva a acreditar que eu deveria estar usando um teste t de uma amostra do que tenho lido .

Por exemplo:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

Esse é o teste certo para usar? Em caso afirmativo, como calculo se a diferença de precisão entre o classificador é significativa?

Ou devo usar outro teste?

Eu provavelmente optaria pelo teste de McNemar se você treinar os classificadores apenas uma vez. David Barber também sugere um teste bayesiano bastante elegante que me parece bastante elegante, mas não é amplamente utilizado (também é mencionado em seu livro ).

Apenas para acrescentar, como Peter Flom diz, a resposta é quase certamente "sim" apenas observando a diferença de desempenho e o tamanho da amostra (suponho que os números citados são desempenho de conjunto de teste em vez de desempenho de conjunto de treinamento).

Aliás, Japkowicz e Shah têm um livro recente sobre "Avaliando algoritmos de aprendizado: uma perspectiva de classificação" , ainda não li, mas parece uma referência útil para esse tipo de problema.

Posso dizer-lhe, sem sequer executar nada, que a diferença será altamente estatisticamente significativa. Ele passa no IOTT (teste de trauma interocular - atinge você entre os olhos).

Se você quiser fazer um teste, no entanto, poderá fazê-lo como um teste de duas proporções - isso pode ser feito com um teste t de duas amostras.

Você pode querer dividir a "precisão" em seus componentes; sensibilidade e especificidade, ou falso-positivo e falso-negativo. Em muitas aplicações, o custo dos diferentes erros é bem diferente.

Como a precisão, neste caso, é a proporção de amostras corretamente classificadas, podemos aplicar o teste de hipótese referente a um sistema de duas proporções.

$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

A estatística do teste é dada por

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ Onde $\quad\hat p= (x_1+x_2)/2n$

$p_2$$p_1$

• $H_0: p_1 = p_2\quad$ (hipótese nula afirmando que ambos são iguais)
• $H_a: p_1 < p_2\quad$ (hipotese alternativa alegando que a mais recente é melhor que a existente)

A região de rejeição é dada por

$Z < -z_\alpha \quad$$H_0$$H_a$

$z_\alpha$$\alpha$$z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

Referências:

1. R. Johnson e J. Freund, Probabilidade e Estatística de Miller e Freund para Engenheiros, 8ª Ed. Prentice Hall International, 2011. (Fonte primária)
2. Teste do resumo da fórmula concisa de hipóteses . (Adotado em [1])