Como derivar a interpretação probabilística da AUC?

14

Por que a área sob a curva ROC tem a probabilidade de um classificador classificar uma instância "positiva" escolhida aleatoriamente (a partir das previsões obtidas) mais alta que uma instância "positiva" escolhida aleatoriamente (a partir da classe positiva original)? Como alguém prova essa afirmação matematicamente usando integral, fornecendo os CDFs e PDFs das verdadeiras distribuições de classe positiva e negativa?

probability roc auc

— mff
fonte

2

Eu escrevi uma prova muito elementar deste aqui: madrury.github.io/jekyll/update/statistics/2017/06/21/...

— Matthew Drury

10

Primeiro, vamos tentar definir a área sob a curva ROC formalmente. Algumas suposições e definições:

Temos um classificador probabilístico que gera uma "pontuação" s (x), onde x são as características es é uma função monotônica crescente genérica da probabilidade estimada p (classe = 1 | x).
, com : = pdf das pontuações para a classe k, com CDF $f_{k}(s)$ $k = \{0, 1\}$ $F_{k}(s)$
A classificação de uma nova observação é obtida comprando a pontuação s para um limiar t

Além disso, por conveniência matemática, vamos considerar a classe positiva (evento detectado) k = 0 e negativa k = 1. Nesta configuração, podemos definir:

Lembre-se (aka Sensitivity, aka TPR) : (proporção de casos positivos classificados como positivos) $F_{0}(t)$
Especificidade (também conhecida como TNR) : (proporção de casos negativos classificados como negativos) $1 - F_{1}(t)$
FPR (também conhecido como Fall-out) : 1 - TNR = $F_{1}(t)$

A curva ROC é então um gráfico de contra . Definindo , pode-se definir formalmente a área sob a curva de ROC como: Alterando variável ( $F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

A U C = \int_{0}^{1} F_{0} (F_{1}^{- 1} (v)) d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$ ):

A U C = \int_{- \infty}^{\infty} F_{0} (s) f_{1} (s) d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

Essa fórmula pode facilmente ser vista como a probabilidade de um membro sorteado aleatoriamente da classe 0 produzir uma pontuação menor que a pontuação de um membro sorteado aleatoriamente da classe 1.

Esta prova é retirada de: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

— alebu
fonte

5

A resposta de @ alebu é ótima. Mas sua notação é fora do padrão e usa 0 para a classe positiva e 1 para a classe negativa. Abaixo estão os resultados para a notação padrão (0 para a classe negativa e 1 para a classe positiva):

$f_0(s)$ $F_0(s)$

$f_1(s)$ $F_1(s)$

$x(s) = 1-F_0(s)$

$y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1} y (x) d x \\ = \int_{0}^{1} y (x (τ)) d x (τ) \\ = \int_{+ \infty}^{- \infty} y (τ) x^{'} (τ) d τ \\ = \int_{+ \infty}^{- \infty} (1 - F_{1} (τ)) (- f_{0} (τ)) d τ \\ = \int_{- \infty}^{+ \infty} (1 - F_{1} (τ)) f_{0} (τ) d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

$\tau$

— Lei Huang
fonte

1

$\tau$

$A$
$B$ $A$
$\tau$

$P(A>\tau)$ $P(B>\tau)$

$\tau$ $AUC$

Nós temos:

A U C = \int_{0}^{1} T P R (x) d x = \int_{0}^{1} P (A > τ (x)) d x

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & A U C = E_{x} [P (A > τ (x))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$

x \sim U [0, 1)

$x \sim U[0,1)$

$x$ $FPR$

x = F P R = P (B > τ (x))

$x=FPR = P(B>\tau(x))$

x

$x$

P (B > τ (x)) \sim U

$P(B>\tau(x)) \sim U$

=> P (B < τ (x)) \sim (1 - U) \sim U

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => F_{B} (τ (x)) \sim U \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

$X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} (X) = P (F_{X} (x) < X) = P (X < F_{X}^{- 1} (X)) = F_{X} F_{X}^{- 1} (X) = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$

τ (x) \sim B

$\tau(x) \sim B$

Substituindo isso na equação (1), obtemos:

A U C = E_{x} (P (A > B)) = P (A > B)

$AUC=E_x(P(A>B))=P(A>B)$

Em outras palavras, a área sob a curva é a probabilidade de uma amostra positiva aleatória ter uma pontuação maior que uma amostra negativa aleatória.

— ryu576
fonte