Quando avaliamos a qualidade de uma floresta aleatória, por exemplo, usando AUC, é mais apropriado calcular essas quantidades nas amostras fora da bolsa ou no conjunto de validação cruzada de espera?

Ouvi dizer que calculá-lo sobre as amostras OOB oferece uma avaliação mais pessimista, mas não vejo o porquê.

cross-validation random-forest auc

— user695652
fonte

Nota: Embora eu ache que minha resposta provavelmente esteja correta, também me sinto em dúvida devido ao fato de ter inventado tudo isso pensando nesse problema somente depois de ler essa pergunta por cerca de 30 a 60 minutos. Então é melhor você ser cético e examinar isso e não se deixar enganar pelo meu estilo de escrita possivelmente muito confiante (eu usar palavras grandes e símbolos gregos extravagantes não significa que estou certo).

Sumário

Este é apenas um resumo. Todos os detalhes são mencionados nas seções $\S1$ e $\S2$ abaixo.

Vamos assumir o caso da classificação (também pode ser estendido à regressão, mas omitir a brevidade). Essencialmente, nosso objetivo é estimar o erro de uma floresta de árvores. O erro fora da bolsa e a validação cruzada k-fold tentam nos dizer a probabilidade de que:

A floresta fornece a classificação correta (a validação cruzada da dobra k olha dessa maneira).

O que é idêntico à probabilidade de que:

O voto da maioria das árvores da floresta é o voto correto (o OOBE olha dessa maneira).

E ambos são idênticos. A única diferença é que a validação cruzada k-fold e o OOBE assumem diferentes tamanhos de amostras de aprendizado. Por exemplo:

Na validação cruzada 10 vezes, o conjunto de aprendizado é de 90%, enquanto o conjunto de testes é de 10%.
No entanto, no OOBE, se cada bolsa tiver amostras, de modo que número total de amostras no conjunto de amostras completo, isso implica que o conjunto de aprendizado é praticamente de cerca de 66% (dois terços) e o conjunto de testes é de cerca de 33% ( um terço). $n$ $n =$

Portanto, na minha opinião, a única razão pela qual o OOBE é uma estimativa pessimista do erro da floresta é apenas porque ele geralmente treina com um número menor de amostras do que o normalmente feito com a validação cruzada de dobras k (onde 10 dobras são comuns).

Por esse motivo, também acho que a validação cruzada em duas vezes será uma estimativa mais pessimista do erro da floresta que o OOBE e a validação cruzada em três vezes será aproximadamente igualmente pessimista para o OOBE.

1. Entendendo o erro fora da bolsa

1.1 Visão comum sobre ensacamento

Cada árvore no RF é cultivada por uma lista de amostras que são sorteadas aleatoriamente do conjunto de aprendizado com substituição. Desta forma, os muitas amostras podem ter duplicatas, e se pode-se descobrir que aproximadamente um terço das amostras em provavelmente não consta da lista de amostras usadas para cultivar uma determinada árvore (essas são as amostras prontas para uso dessa árvore específica. Esse processo é repetido independentemente para cada árvore, para que cada árvore tenha um conjunto diferente de amostras prontas para uso. $n$ $\mathcal{X}$ $n$ $n = |\mathcal{X}|$ $\mathcal{X}$ $n$

1.2 Outra visão sobre ensacamento

Agora, vamos re-descrever o empacotamento de maneira um pouco diferente, com a esperança de encontrar uma descrição igual que, esperamos, seja mais simples de lidar.

Eu faço isso, afirmando que a árvore é treinado pelas amostras ensacadas no conjunto . No entanto, isso não é exatamente verdade, pois o conjunto não possui amostras duplicadas (é assim que os conjuntos funcionam), enquanto, por outro lado, a lista de amostras pode ter duplicatas. $t$ $\mathcal{X}_t \subseteq \mathcal{X}$ $\mathcal{X}_t$ $n$

Portanto, podemos dizer que uma árvore é cultivada analisando as amostras mais um número de duplicatas escolhidas aleatoriamente, extraídas de , ou seja, , como que: $t$ $\mathcal{X}_t$ $\mathcal{X}_t$ $\mathcal{X}_{t,1}, \mathcal{X}_{t,2}, \ldots, \mathcal{X}_{t,r} \subseteq \mathcal{X}_t$

| X_{t} | + \sum_{Eu = 1}^{r} | X_{t, Eu} | = n

$\begin{equation} |\mathcal{X}_t| + \sum_{i=1}^r|\mathcal{X}_{t,i}| = n \end{equation}$

É trivial para ver que a partir desta colecção de conjuntos , pode-se definir uma lista de amostras -muitos que contêm duplicados por simplesmente adicionando os elementos em cada defina $\mathcal{C} = \{\mathcal{X}_t, \mathcal{X}_{t,1}, \ldots, \mathcal{X}_{t,r}\}$ $n$ $\mathcal{C}_i \in \mathcal{C}$ para uma matriz . Dessa forma, para qualquer , existe pelo menos um valor de tal que $a$ $1 \le p \le n$ $i$ $a[p] \in \mathcal{C}_i$ .

Também podemos ver que a lista de amostras na matriz é uma generalização de ensacamento, conforme definido na Seção 1. É trivial ver que, para alguma definição específica de que defini nesta seção ( ) , a lista de amostras na matriz pode ser exatamente idêntica à lista de amostras, conforme definido na Seção 1. $n$ $a$ $\mathcal{X}_t$ $\S2$ $a$

1.3 Simplificando o ensacamento

Em vez de aumentar a árvore por amostras na matriz , vamos aumentá-las pela lista de instâncias sem duplicação que são encontradas apenas em . $t$ $a$ $\mathcal{X}_t$

Acredito que, se for grande o suficiente, uma árvore que é cultivada pela análise de amostras em é idêntica a outra árvore que é cultivada a partir das amostras da matriz . $n$ $t$ $\mathcal{X}_t$ $t'$ $a$

Minha razão é que, a probabilidade de duplicar amostras em é igualmente provável em outras amostras no mesmo conjunto. Isso significa que, quando medimos o ganho de informação (IG) de alguma divisão, o IG permanecerá idêntico, pois as entropias também permanecerão idênticas. $\mathcal{X}_t$

E a razão pela qual acredito que as entropias não mudarão sistematicamente para uma determinada divisão é porque a probabilidade empiricamente medida de uma amostra com uma etiqueta específica em algum subconjunto (após aplicar uma divisão de decisão) também não será alterada.

E a razão as probabilidades não deve mudar na minha opinião é que que todas as amostras de são igualmente propensos a ser duplicado em cópias. $\mathcal{X}_t$ $d$

1.4 Medindo erros fora da bolsa

Seja as amostras prontas da árvore . seja, . Então o erro de uma única árvore $\mathcal{O}_t$ $t$ $\mathcal{O}_t = \mathcal{X} \setminus \mathcal{X}_t$ $t$ é: E o erro total da floresta commuitas árvores é:

\frac{total x in O_{t} correctly classified by t}{| O_{t} |}

$\begin{equation} \frac{\text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{|\mathcal{O}_t|} \end{equation}$

n_{t}

$n_t$

que pode ser pensada como aprobabilidadeempiricamente medida deque a maioria dos votos de todas as árvores em uma floresta é uma votação correta.

\frac{\sum_{t = 1}^{n_{t}} total x in O_{t} correctly classified by t}{\sum_{t = 1}^{n_{t}} | O_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_t} \text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{\sum_{t=1}^{n_t}|\mathcal{O}_t|} \end{equation}$

2. Compreendendo a validação cruzada k-fold

$\mathcal{X}$ $n_k$ $\mathcal{K} = \{\mathcal{K}_1, \mathcal{K}_2, \ldots, \mathcal{K}_{n_k}\}$ $\mathcal{K}_1 \cup \mathcal{K}_2 \cup \ldots \cup \mathcal{K}_{n_k} = \mathcal{X}$ $\mathcal{K}_i, \mathcal{K}_j \in \mathcal{K}$ $\mathcal{K}_i \cap \mathcal{K}_j = \emptyset$

$\mathcal{K}_t$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$

\frac{\sum_{t = 1}^{n_{k}} total x in K_{t} correctly classified by f}{\sum_{t = 1}^{n_{k}} | K_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_k} \text{total $\mathbf{x}$ in $\mathcal{K}_t$ correctly classified by $f$}}{\sum_{t=1}^{n_k} |\mathcal{K}_t|} \end{equation}$

$f$

— homem das cavernas
fonte

Avaliar floresta aleatória: OOB vs CV