Eu tenho um conjunto de testes de 100 casos e dois classificadores.

Gerei previsões e AUC ROC computada, sensibilidade e especificidade para os dois classificadores.

Pergunta 1: Como posso calcular o valor-p para verificar se um é significativamente melhor que o outro em relação a todas as pontuações (AUC ROC, sensibilidade, especificidade)?

---

Agora, para o mesmo conjunto de testes de 100 casos, tenho atribuições de recursos diferentes e independentes para cada caso. Isso ocorre porque meus recursos são fixos, mas subjetivos, e são fornecidos por vários (5) assuntos.

Portanto, avaliei meus dois classificadores novamente para 5 "versões" do meu conjunto de testes e obtive 5 AUCs ROC, 5 sensibilidades e 5 especificidades para ambos os classificadores. Em seguida, calculei a média de cada medida de desempenho para 5 indivíduos (AUC média do ROC, sensibilidade média e especificidade média) para ambos os classificadores.

Pergunta 2: Como posso calcular o valor-p para verificar se um é significativamente melhor que o outro em relação às pontuações médias (AUC média do ROC, sensibilidade média, especificidade média)?

---

Respostas com algum exemplo de código python (preferencialmente) ou MatLab são bem-vindas.

Wojtek J. Krzanowski e David J. Hand ROC de curvas para dados contínuos (2009) é uma ótima referência para tudo relacionado a curvas ROC. Ele reúne vários resultados em uma base de literatura frustrantemente ampla, que geralmente usa terminologia diferente para discutir o mesmo tópico.

Além disso, este livro oferece comentários e comparações de métodos alternativos que foram derivados para estimar as mesmas quantidades e destaca que alguns métodos fazem suposições que podem ser insustentáveis ​​em contextos específicos. Este é um desses contextos; outras respostas relatam o método Hanley & McNeil, que assume o modelo binormal para distribuição de pontuações, o que pode ser inapropriado nos casos em que a distribuição das pontuações das turmas não é (quase) normal. A suposição de pontuações normalmente distribuídas parece especialmente inapropriada nos tempos modernos. contextos de aprendizado de máquina , modelos comuns típicos como xgboost tendem a produzir pontuações com uma distribuição "banheira" para tarefas de classificação (ou seja, distribuições com altas densidades nos extremos próximos a 0 e 1 )

Pergunta 1 - CUA

A Seção 6.3 discute comparações da AUC ROC para duas curvas ROC (pp 113-114). Em particular, meu entendimento é que esses dois modelos estão correlacionados, portanto as informações sobre como calcular são criticamente importantes aqui; caso contrário, sua estatística de teste será enviesada porque não leva em consideração a contribuição da correlação.$r$

Para o caso de curvas ROC não correlacionadas que não se baseiam em nenhuma premissa de distribuição paramétrica, as estatísticas de tets e intervalos de confiança comparando as AUCs podem ser diretamente baseadas nas estimativas e ^ AUC 2 dos valores da AUC e nas estimativas de seus desvios padrão S 1 e S 2 , conforme indicado na seção 3.5.1:$\widehat{\text{AUC}}_1$$\widehat{\text{AUC}}_2$$S_1$$S_2$

$$Z = \frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2}}$$

Para estender esses testes ao caso em que os mesmos dados são usados ​​para ambos os classificadores, precisamos levar em consideração a correlação entre as estimativas da AUC:

$$z=\frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2 - rS_1S_2}}$$

onde é a estimativa dessa correlação. Hanley e McNeil (1983) fizeram essa extensão, baseando sua análise no caso binormal, mas apenas forneceram uma tabela mostrando como calcular o coeficiente de correlação estimado r a partir da correlação r P dos dois classificadores da classe P e a correlação de r $r$$r$$r_P$$r_n$ dos dois classificadores da classe N, dizendo que a derivação matemática estava disponível mediante solicitação. Vários outros autores (por exemplo, Zou, 2001) desenvolveram testes baseados no modelo binormal, assumindo que uma transformação apropriada possa ser encontrada, que transformará simultaneamente as distribuições de pontuação das classes P e N em normais.

DeLong et al (1988) aproveitaram a identidade entre a AUC e a estatística do teste de Mann-Whitney, juntamente com os resultados da teoria da estatística generalizada devido a Sen (1960), para derivar uma estimativa da correlação entre as AUCs que não se baseia na suposição binormal. De fato, DeLong et al (1988) apresentaram os seguintes resultados para comparações entre k ≥ 2 classificadores.$U$$k\ge 2$

Na Seção 3.5.1, mostramos que a área sob a curva ROC empírica era igual à estatística Mann-Whitney e era dada por$U$

em quesPi,i=1,...,nPé a pontuação para a classePobjectos esNj,j=1,...,nNsão as pontuações para osobjetosda classeNna amostra. Suponha que temoskclassificadores, produzindo pontuaçõess r N j

$$\widehat{AUC}=\frac{1}{n_N n_P} \sum_{i=1}^{n_N} \sum_{j=1}^{n_P} \left[ I(s_{P_j} > s_{N_i}) + \frac{1}{2}I(s_{P_j} = s_{N_i}) \right]$$ $s_{P_i}, i = 1, \dots,n_P$$P$$s_{N_j}, j = 1, \dots,n_N$$N$$k$. Definir e s r P i , j = 1 , … , n P [Corrigi um erro de indexação nesta parte - Sycorax] e ^ A U C r , r = 1 , … , $s^r_{N_j}, j=1\dots n_N$$s_{P_i}^r, j = 1, \dots,n_P$$\widehat{AUC}_r, r = 1, \dots, k$

e V r 01 =

$$V^r_{10}=\frac{1}{n_N}\sum_{j=1}^{n_N} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , i=1,\dots,n_P$$ $$V^r_{01} = \frac{1}{n_P}\sum_{i=1}^{n_P} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , j=1,\dots,n_N$$

Em seguida, definir o matriz W 10 com ( r , s ) ésimo elemento w r , s 10 = $k \times k$$\mathbf{W}_{10}$$(r,s)$ e okxkmatrizW01com(r,s)th elemento w

$$w_{10}^{r,s} = \frac{1}{n_P - 1}\sum_{i=1}^{n_P} \left[ V_{10}^r(s_{P_i}) - \widehat{AUC}_r \right] \left[ V_{10}^s(s_{P_i}) - \widehat{AUC}_s \right]$$ $k \times k$$\mathbf{W}_{01}$$(r,s)$ Em seguida, a matriz de covariância estimada para o vetor( ^ A U C 1,…, ^ A U C $$w_{01}^{r,s} = \frac{1}{n_N - 1}\sum_{i=1}^{n_N} \left[ V_{01}^r(s_{N_i}) - \widehat{AUC}_r \right] \left[ V_{01}^s(s_{N_i}) - \widehat{AUC}_s \right]$$ das áreas estimadas sob as curvas é W = $(\widehat{AUC}_1, \dots, \widehat{AUC}_k)$com elementosde wr,s. Esta é uma generalização do resultado para a variação estimada de uma única AUC estimada, também fornecida na seção 3.5.1. No caso de dois classificadores, a correlaçãoestimadarentre as AUC estimadas é dada porw1, $$\mathbf{W} = \frac{1}{n_P}\mathbf{W}_{10} + \frac{1}{n_N}\mathbf{W}_{01}$$ $w^{r,s}$$r$ que pode ser usado emzacima.$\frac{w^{1,2}}{\sqrt{w^{1,1}w^{2,2}}}$$z$

Como outras respostas fornecem as expressões de Hanley e McNeil para estimadores da variação da AUC, reproduzirei aqui o estimador DeLong da p. 68:

A abordagem alternativa devida a DeLong et al (1988) e exemplificada por Pepe (2003) fornece talvez uma estimativa mais simples e uma que introduz o conceito extra útil de um valor de posicionamento. O valor de colocação de uma pontuação com referência a uma população especificada é a função sobrevivente da população em s . Esse valor de colocação para s na população N é 1 - F ( s ) e para s na população P é 1 - G ( s ) . Estimativas empíricas dos valores de posicionamento são dadas pelas proporções óbvias. Assim, o valor de colocação da observação s $s$$s$$s$$1 - F(s)$$s$$1 - G(s)$$s_{N_i}$ na população P denota , é a proporção dos valores da amostra de P que excede s N i , e var ( s N P i ) é a variação dos valores de colocação de cada observação de N em relação à população P. ..$s^P_{N_i}$$s_{N_i}$$\text{var}(s_{P_i}^N)$

A estimativa de DeLong et al (1988) da variação de é dada em termos dessas variações: s 2 ( ^ A U C ) = $\widehat{AUC}$

$$s^2(\widehat{AUC}) = \frac{1}{n_P} \text{var}\left(s_{P_i}^N\right) + \frac{1}{n_N}\text{var}\left(s_{N_i}^P\right)$$

Observe que é a função de distribuição cumulativa das pontuações na população N e G é a função de distribuição cumulativa das pontuações na população P. Uma maneira padrão de estimar F e G é usar o ecdf$F$$G$$F$$G$ . O livro também fornece alguns métodos alternativos para as estimativas de ecdf, como estimativa de densidade do kernel, mas que estão fora do escopo desta resposta.

As estatísticas e z podem ser consideradas desvios normais padrão e os testes estatísticos da hipótese nula prosseguem da maneira usual. (Veja também:$Z$$z$ teste de hipóteses )

Este é um esboço simplificado e de alto nível de como o teste de hipóteses funciona:

• Testar, em suas palavras, "se um classificador é significativamente melhor que o outro" pode ser reformulado como testando a hipótese nula de que os dois modelos têm AUCs estatisticamente iguais em comparação com a hipótese alternativa de que as estatísticas são desiguais.

• Este é um teste bicaudal.

• Rejeitamos a hipótese nula se a estatística do teste estiver na região crítica da distribuição de referência, que é uma distribuição normal padrão neste caso.

• O tamanho da região crítica depende do nível do teste. Para um nível de significância de 95%, a estatística do teste cai na região crítica se z > 1,96 ou z < - 1,96 . (Esses são os quantis α / 2 e 1 - α / 2 da distribuição normal padrão.) Caso contrário, você falha em rejeitar a hipótese nula e os dois modelos estão estatisticamente vinculados.$\alpha$$z > 1.96$$z < -1.96$$\alpha/2$$1 - \alpha/2$

Pergunta 1 - Sensibilidade e especificidade

A estratégia geral para comparar sensibilidade e especificidade é observar que essas duas estatísticas equivalem a realizar inferência estatística em proporções, e esse é um problema padrão e bem estudado. Especificamente, sensibilidade é a proporção da população P que tem uma pontuação maior que algum limiar , e também para a especificidade da população N: sensibilidade = t $t$

$$\begin{align} \text{sensitivity} = tp &= \mathbb{P}(s_P > t) \\ 1 - \text{specificity} = fp &= \mathbb{P}(s_N > t) \end{align}$$

O principal ponto de discórdia é o desenvolvimento do teste apropriado, pois as duas proporções da amostra serão correlacionadas (como você aplicou dois modelos aos mesmos dados de teste). Isso é tratado na p. 111

$tp$$fp$ is a proportion, as is the misclassification rate for fixed threshold $t$. We can thus compare curves, using these measures, by means of standard tests to compare proportions. For example, in the unpaired case, we can use the test statistic $(tp_1 - tp_2) / s_{12}$, where $tp_i$ is the true positive rate for curve $i$ as the point in question, and $s_{12}^2$ is the sum of the variances of $tp_1$ and $tp_2$...

For the paired case, however, one can derive an adjustment that allows for the covariance between $tp_1$ and $tp_2$, but an alternative is to use McNemar's test for correlated proportions (Marascuilo and McSweeney, 1977).

The mcnemar-test is appropriate when you have $N$ subjects, and each subject is tested twice, once for each of two dichotomous outcomes. Given the definitions of sensitivity and specificity, it should be obvious that this is exactly the test that we seek, since you've applied two models to the same test data and computed sensitivity and specificity at some threshold.

The McNemar test uses a different statistic, but a similar null and alternative hypothesis. For example, considering sensitivity, the null hypothesis is that the proportion $tp_1 = tp_2$, and the alternative is $tp_1 \neq tp_2$. Re-arranging the proportions to instead be raw counts, we can write a contingency table

$$\begin{array}{c|c|c|} & \text{Model 1 Positive at } t & \text{Model 1 Negative at } t \\ \hline \text{Model 2 Positive at } t & a & b \\ \hline \text{Model 2 Negative at } t & c & d \\ \hline \end{array}$$ where cell counts are given by counting the true positives and false negatives according to each model

$$\begin{align} a &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 > t) \\ b &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 > t) \\ c &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 \le t) \\ d &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 \le t) \\ \end{align}$$

and we have the test statistic

$$M = \frac{(b-c)^2}{b + c}$$ which is distributed as $\chi^2_1$ a chi-squared distribution with 1 degree of freedom. With a level $\alpha=95\%$, the null hypothesis is rejected for $M > 3.841459$.

For the specificity, you can use the same procedure, except that you replace the $s^r_{P_i}$ with the $s^r_{N_j}$.

Question 2

It seems that it is sufficient to merge the results by averaging the prediction values for each respondent, so that for each model you have 1 vector of 100 averaged predicted values. Then compute the ROC AUC, sensitivty and specificity statistics as usual, as if the original models didn't exist. This reflects a modeling strategy that treats each of the 5 respondents' models as one of a "committee" of models, sort of like an ensemble.

Let me keep the answer short, because this guide does explain a lot more and better.

Basically, you have your number of True Postives ($nTP$) and number of True Negatives ($nTN$). Also you have your AUC, A. The standard error of this A is:

$\texttt{SE}_A = \sqrt{\frac{A(1-A) + (nTP-1)(Q_1 - A^2)+(nTN-1)(Q_2 - A^2)}{nTP \cdot nTN}}$

with $Q_1 = A / (2 - A)$ and $Q_2 = 2A^2 / (1 + A)$.

To compare two AUCs you need to compute the SE of them both using:

$\texttt{SE}_{A_1 - A_2} = \sqrt{(SE_{A_1})^2 + (SE_{A_2})^2 - 2r\cdot (SE_{A_1})(SE_{A_2})}$

where $r$ is a quantity that represents the correlation induced between the two areas by the study of the same set of cases. If your cases are different, then $r=0$; otherwise you need to look it up (Table 1, page 3 in freely available article).

Given that you compute the $z$-Score by

$z = (A_1 - A_2) / SE_{A_1-A_2}$

From there you can compute p-value using probability density of a standard normal distribution. Or simply use this calculator.

This hopefully answers Question 1. - at least the part comparing AUCs. Sens/Spec is already covered by the ROC/AUC in some way. Otherwise, the answer I think lies in the Question 2.

As for Question 2, Central Limit Theorem tells us that your summary statistic would follow a normal distribution. Hence, I would think a simple t-test would suffice (5 measures of one classifier against 5 measures of the second classifier where measures could be AUC, sens, spec)

Edit: corrected formula for $\texttt{SE}$ ($\ldots - 2r \ldots$)

For Question 1, @Sycorax provided a comprehensive answer.

For Question 2, to the best of my knowledge, averaging predictions from subjects is incorrect. I decided to use bootstrapping to compute p-values and compare models.

In this case, the procedure is as follows:

For N iterations:
  sample 5 subjects with replacement
  sample 100 test cases with replacement
  compute mean performance of sampled subjects on sampled cases for model M1
  compute mean performance of sampled subjects on sampled cases for model M2
  take the difference of mean performance between M1 and M2
p-value equals to the proportion of differences smaller or equal than 0

This procedure performs one-tailed test and assumes that M1 mean performance > M2 mean performance.

A Python implementation of bootstrapping for computing p-values comparing multiple readers can be found in this GitHub repo: https://github.com/mateuszbuda/ml-stat-util