Qual é a regra .632+ no bootstrapping?

Aqui, o @gung faz referência à regra .632+. Uma pesquisa rápida no Google não fornece uma resposta fácil de entender sobre o significado dessa regra e com que finalidade ela é usada. Alguém esclareceria a regra .632+?

Vou chegar ao estimador 0.632, mas será um desenvolvimento um tanto longo:

Suponha que desejamos prever com usando a função , onde pode depender de alguns parâmetros estimados usando os dados , por exemplo,$Y$$X$$f$$f$$(\mathbf{Y}, \mathbf{X})$$f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

Uma estimativa ingênua de erro de previsão é onde é uma função de perda, por exemplo, perda de erro ao quadrado. Isso geralmente é chamado de erro de treinamento. Efron et al. chama de taxa de erro aparente ou taxa de re-substituição. Não é muito bom, pois usamos nossos dados para ajustar . Isso resulta em sendo enviesado para baixo. Você quer saber o desempenho do seu modelo na previsão de novos valores.

$$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ $L$$(x_i,y_i)$$f$$\overline{err}$$f$

Geralmente, usamos a validação cruzada como uma maneira simples de estimar o erro de previsão de amostra extra-amostra (quão bem o nosso modelo se comporta com dados que não estão em nosso conjunto de treinamento?).

$$Err = \text{E}\left[ L(Y, f(X))\right]$$

Uma maneira popular de fazer isso é fazer a validação cruzada em fold. Divida seus dados em grupos (por exemplo, 10). Para cada grupo , ajuste seu modelo nos demais grupos e teste-o no ésimo grupo. Nosso erro de previsão de amostra extra validada cruzada é apenas a média onde é alguma função de índice que indica a partição à qual a observação está alocada é o valor previsto de usando dados que não estão no conjunto th.$K$$K$$k$$K-1$$k$

$$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$$ $\kappa$$i$$f_{-\kappa(i)}(x_i)$$x_i$$\kappa(i)$

Este estimador é aproximadamente imparcial para o verdadeiro erro de previsão quando e tem maior variação e é mais caro computacionalmente para maior . Então, mais uma vez, vemos o trade-off de desvio e variação em jogo.$K=N$$K$

Em vez de validação cruzada, poderíamos usar o bootstrap para estimar o erro de previsão de amostra extra. A reamostragem de bootstrap pode ser usada para estimar a distribuição amostral de qualquer estatística. Se nossos dados de treinamento forem , podemos pensar em tirar amostras de bootstrap (com substituição) deste conjunto onde cada é um conjunto de amostras. Agora podemos usar nossas amostras de autoinicialização para estimar o erro de previsão extra-amostra: que é o valor previsto em do modelo ajustado ao$\mathbf{X} = (x_1,\ldots,x_N)$$B$$\mathbf{Z}_1,\ldots,\mathbf{Z}_B$$\mathbf{Z}_i$$N$

$$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$$ $f_b(x_i)$$x_i$$b$ conjunto de dados de inicialização. Infelizmente, este não é um estimador particularmente bom, pois as amostras de autoinicialização usadas para produzir podem ter contido . O estimador de -inicialização de exclusão oferece uma melhoria imitando a validação cruzada e é definido como: que é o conjunto de índices para as amostras de autoinicialização que não contém observação eé o número de tais amostras. $f_b(x_i)$$x_i$ $$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$$ $C^{-i}$$i$$|C^{-i}|$$Err_{boot(1)}$resolve o problema de super adaptação, mas ainda é tendencioso (este é tendencioso para cima). O viés é devido a observações não distintas nas amostras de inicialização que resultam da amostragem com substituição. O número médio de observações distintas em cada amostra é de cerca de (consulte esta resposta para obter uma explicação de por que Por que, em média, cada amostra de autoinicialização contém aproximadamente dois terços das observações? ). Para resolver o problema de viés, Efron e Tibshirani propuseram o estimador 0.632: que$0.632N$ $$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$$ $$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ é a estimativa ingênua do erro de previsão, geralmente chamada de erro de treinamento. A idéia é calcular uma estimativa tendenciosa para baixo e uma estimativa tendenciosa para cima.

No entanto, se tivermos uma função de previsão altamente super ajustada (por exemplo, ), mesmo o estimador .632 será enviesado para baixo. O estimador .632+ foi projetado para ser um compromisso menos tendencioso entre e . com que é a taxa de erro sem informação, estimada pela avaliação do modelo de previsão em todas as combinações possíveis de segmenta e preditores .$\overline{err}=0$$\overline{err}$$Err_{boot(1)}$

$$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$$ $$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$$ $\gamma$$y_i$$x_i$

$$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$$ .

Aqui mede a taxa de super adaptação. Se não houver (R = 0, quando ), isso é igual ao estimador .632.$R$$Err_{boot(1)} = \overline{err}$

Você vai encontrar mais informações na seção 3 deste ¹ papel. Mas, para resumir, se você chamar uma amostra de números de sorteados aleatoriamente e com substituição, conterá em média aproximadamente elementos únicos.$S$$n$$\{1:n\}$$S$$(1-e^{-1})\,n \approx 0.63212056\, n$

O raciocínio é o seguinte. Nós preenchemos amostrando vezes (aleatoriamente e com substituição) de . Considere um índice específico . $S=\{s_1,\ldots,s_n\}$$i=1,\ldots,n$$\{1:n\}$$m\in\{1:n\}$

Então:

$$P(s_i=m)=1/n$$

e

$$P(s_i\neq m)=1-1/n$$

e isso é verdade (intuitivamente, uma vez que amostramos com substituição, as probabilidades não dependem de )$\forall 1\leq i \leq n$$i$

portanto

$$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$$

Você também pode realizar esta pequena simulação para verificar empiricamente a qualidade da aproximação (que depende de ):$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Bradley Efron e Robert Tibshirani (1997). Aprimoramentos na validação cruzada: o método .632+ Bootstrap . Jornal da Associação Estatística Americana , vol. 92, n. 438, pp. 548-560.

Na minha experiência, principalmente com base em simulações, as variantes de bootstrap 0.632 e 0.632+ foram necessárias apenas devido a problemas graves causados ​​pelo uso de uma regra de pontuação de precisão inadequada, ou seja, a proporção "classificada" corretamente. Quando você usa regras de pontuação adequadas (por exemplo, pontuação baseada em desvio ou Brier) ou semi-adequadas (por exemplo, -index = AUROC), a inicialização padrão do otimizador de Efron-Gong funciona bem.$c$

Essas respostas são muito úteis. Como não consegui encontrar uma maneira de demonstrar isso com matemática, escrevi um código Python que funciona muito bem:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)