É verdade que o bootstrap de percentil nunca deve ser usado?

31

Nas notas do MIT OpenCourseWare para 18.05 Introdução à Probabilidade e Estatística, primavera de 2014 (atualmente disponível aqui ), ele declara:

O método de percentil de auto-inicialização é atraente devido à sua simplicidade. No entanto, depende da distribuição de auto-inicialização de base em uma amostra específica, sendo uma boa aproximação à verdadeira distribuição de . Rice diz sobre o método do percentil: "Embora essa equação direta de quantis da distribuição de amostragem de inicialização com limites de confiança possa parecer inicialmente atraente, sua lógica é um tanto obscura". [2] Em resumo, não use o método de percentil de inicialização . Use o bootstrap empírico (explicamos ambos na esperança de que você não confunda o bootstrap empírico com o bootstrap de percentil). $\bar{x}^{*}$ $\bar{x}$

[2] John Rice, estatística matemática e análise de dados , 2ª edição, p. 272

Depois de um pouco de pesquisa on-line, essa é a única citação que eu descobri que afirma que o bootstrap de percentil não deve ser usado.

O que me lembro de ter lido o texto Princípios e teoria para mineração de dados e aprendizado de máquina de Clarke et al. é que a principal justificativa para inicialização é o fato de que onde é o CDF empírico. (Não me lembro de detalhes além disso.)

\frac{1}{n} \sum_{i = 1}^{n} {\hat{F}}_{n} (x) \overset{p}{\to} F (x)

$\dfrac{1}{n}\sum_{i=1}^{n}\hat{F}_n(x) \overset{p}{\to} F(x)$

{\hat{F}}_{n}

$\hat{F}_n$

É verdade que o método de inicialização por percentil não deve ser usado? Em caso afirmativo, quais são as alternativas quando não é necessariamente conhecido (ou seja, não há informações suficientes disponíveis para executar uma inicialização paramétrica)? $F$

Atualizar

Como o esclarecimento foi solicitado, a "inicialização empírica" dessas notas do MIT refere-se ao seguinte procedimento: eles calculam e com as estimativas iniciadas por e a estimativa de amostra completa de , e o intervalo de confiança estimado resultante seria . $\delta_1 = (\hat{\theta}^{*}-\hat{\theta})_{\alpha/2}$ $\delta_2 = (\hat{\theta}^{*}-\hat{\theta})_{1-\alpha/2}$ $\hat{\theta}^{*}$ $\theta$ $\hat{\theta}$ $\theta$ $[\hat{\theta}-\delta_2, \hat{\theta} - \delta_1]$

Em essência, a idéia principal é a seguinte: o bootstrapping empírico estima uma quantidade proporcional à diferença entre a estimativa do ponto e o parâmetro real, ou seja, , e usa essa diferença para obter os valores mais baixos e mais baixos. limites superiores do IC. $\hat{\theta}-\theta$

O "percentil de inicialização" refere-se ao seguinte: use como o intervalo de confiança para . Nessa situação, usamos o bootstrapping para calcular estimativas do parâmetro de interesse e tomar os percentis dessas estimativas para o intervalo de confiança. $[\hat{\theta}^*_{\alpha/2}, \hat{\theta}^*_{1-\alpha/2}]$ $\theta$

confidence-interval bootstrap

— Clarinetist
fonte

2

Eu editei fortemente sua atualização. Verifique se minha edição faz sentido. Suas citações do livro de Efron eram confusas porque o que Efron descreve não corresponde ao que suas anotações do MIT chamam de "inicialização empírica". Então, acabei de deixar a descrição do que as notas do MIT fazem. BTW, estou confuso sobre uma coisa em sua descrição do "bootstrap empírico": no topo da página 6, ele diz "Como está no percentil 90 ..." - eu não entendo isso. É claro, a partir do exemplo, que o lado esquerdo do IC é dado subtraindo o percentil 90, ou seja, seu .

δ_{.1}^{*}

$\delta_{.1}^*$

δ_{2}

$\delta_2$

— Ameba diz Reinstate Monica

2

@amoeba, suas edições estão corretas. Obrigado por ajudar. Eu acho que há alguns problemas com as notas do MIT; a descrição das dificuldades com as bootstraps de percentil não era muito clara e seu argumento contra eles é principalmente um apelo à autoridade. Não pude reproduzir o último exemplo numérico contra o bootstrap de percentil. Não pense que eles trabalharam com alguns detalhes, assim como nós, enquanto abordamos essa questão útil e, portanto, o texto deles pode ter algumas deficiências, como você aponta.

— EdM

Olhando para a nota do MIT, não vejo como os autores obtiveram os intervalos de confiança na seção 9 "O método do percentil de autoinicialização (não deve ser usado)" de [37.4, 42.4]. Parece que a amostra que eles estão usando não é a mesma da seção 6, com a qual eles estão fazendo a comparação. Se pegarmos a amostra para δ ∗ = x ∗ - x relatada na parte inferior da página 5 e adicionarmos novamente a média da amostra de 40,3 e pegarmos os ICs, os limites que eu recebo são [38,9, 41,9], que tem a mesma largura de 3 como os limites relatados na seção 6 de [38.7, 41.7].

— Confundido

21

Existem algumas dificuldades comuns a todas as estimativas não paramétricas de intervalos de confiança (IC) de bootstrapping, algumas que são mais um problema com o "empírico" (chamado "básico" na boot.ci()função do bootpacote R e na ref. 1 ) e as estimativas de IC "percentil" (como descrito na Ref. 2 ), e algumas que podem ser exacerbadas com os ICs percentuais.

TL; DR : Em alguns casos, as estimativas do IC de autoinicialização por percentil podem funcionar adequadamente, mas se certas suposições não se mantiverem, o ICs em percentil pode ser a pior opção, com a auto-inicialização empírica / básica a pior. Outras estimativas de IC de autoinicialização podem ser mais confiáveis, com melhor cobertura. Tudo pode ser problemático. Observar plotagens de diagnóstico, como sempre, ajuda a evitar possíveis erros incorridos ao aceitar apenas a saída de uma rotina de software.

Configuração de inicialização

Geralmente seguindo a terminologia e argumentos da ref. 1 , temos uma amostra de dados retirados de variáveis aleatórias independentes e identicamente distribuídos partilham uma função de distribuição cumulativa . A função de distribuição empírica (FED) construída a partir da amostra de dados é . Estamos interessados em uma característica da população, estimada por uma estatística cujo valor na amostra é . Gostaríamos de saber quão bem estima , por exemplo, a distribuição de . $y_1, ..., y_n$ $Y_i$ $F$ $\hat F$ $\theta$ $T$ $t$ $T$ $\theta$ $(T - \theta)$

O bootstrap não paramétrico usa amostragem do EDF para imitar a amostragem de , coletando amostras cada um do tamanho com substituição do . Os valores calculados a partir das amostras de autoinicialização são indicados com "*". Por exemplo, a estatística calculada na amostra de autoinicialização j fornece um valor . $\hat F$ $F$ $R$ $n$ $y_i$ $T$ $T_j^*$

CIs de bootstrap empírico / básico versus percentil

O bootstrap empírico / básico usa a distribuição de entre as amostras de bootstrap de para estimar a distribuição de na população descrita por si. Suas estimativas de IC são, portanto, baseadas na distribuição de , onde é o valor da estatística na amostra original. $(T^*-t)$ $R$ $\hat F$ $(T-\theta)$ $F$ $(T^*-t)$ $t$

Esta abordagem é baseada no princípio fundamental do bootstrapping ( Ref. 3 ):

A população é para a amostra como a amostra é para as amostras de autoinicialização.

O bootstrap de percentil usa os quantis dos valores para determinar o IC. Essas estimativas podem ser bem diferentes se houver distorção ou viés na distribuição de . $T_j^*$ $(T-\theta)$

Digamos que exista um viés tal que: $B$

{\bar{T}}^{*} = t + B,

$\bar T^*=t+B,$

onde é a média do . Para concretude, diga que os percentis 5 e 95 do são expressos como e , em que é a média sobre as amostras de bootstrap e são positivos e potencialmente diferentes para permitir a inclinação. As estimativas baseadas no percentil 5 e 95 do IC seriam fornecidas diretamente, respectivamente: $\bar T^*$ $T_j^*$ $T_j^*$ $\bar T^*-\delta_1$ $\bar T^*+\delta_2$ $\bar T^*$ $\delta_1,\delta_2$

{\bar{T}}^{*} - δ_{1} = t + B - δ_{1}; {\bar{T}}^{*} + δ_{2} = t + B + δ_{2} .

$\bar T^*-\delta_1=t+B-\delta_1; \bar T^*+\delta_2=t+B+\delta_2.$

As estimativas de IC do 5º e 95º percentis pelo método empírico / básico de bootstrap seriam respectivamente ( Ref. 1 , eq. 5.6, página 194):

2 t - ({\bar{T}}^{*} + δ_{2}) = t - B - δ_{2}; 2 t - ({\bar{T}}^{*} - δ_{1}) = t - B + δ_{1} .

$2t-(\bar T^*+\delta_2) = t-B-\delta_2; 2t-(\bar T^*-\delta_1) = t-B+\delta_1.$

Portanto , os ICs baseados em percentis entendem errado o viés e mudam as direções das posições potencialmente assimétricas dos limites de confiança em torno de um centro duplamente tendencioso . Os ICs de percentil do bootstrapping nesse caso não representam a distribuição de . $(T-\theta)$

Esse comportamento é bem ilustrado nesta página , para inicializar uma estatística com um viés tão negativo que a estimativa original da amostra está abaixo dos ICs de 95% com base no método empírico / básico (que inclui diretamente a correção de viés apropriada). Os ICs de 95% baseados no método do percentil, dispostos em torno de um centro com desvios duplamente negativos, estão ambos abaixo da estimativa do ponto com desvios negativos da amostra original!

O bootstrap de percentil nunca deve ser usado?

Isso pode ser um exagero ou um eufemismo, dependendo da sua perspectiva. Se você pode documentar o viés e a inclinação mínimos, por exemplo, visualizando a distribuição de com histogramas ou gráficos de densidade, o bootstrap de percentil deve fornecer essencialmente o mesmo IC que o IC empírico / básico. Provavelmente, ambos são melhores do que a simples aproximação normal ao IC. $(T^*-t)$

Nenhuma das abordagens, no entanto, fornece a precisão da cobertura que pode ser fornecida por outras abordagens de autoinicialização. Desde o início, a Efron reconheceu as possíveis limitações dos ICs de percentis, mas disse: "Principalmente nos contentaremos em permitir que os diferentes graus de sucesso dos exemplos falem por si mesmos". ( Ref. 2 , página 3)

O trabalho subsequente, resumido, por exemplo, por DiCiccio e Efron ( Ref. 4 ), desenvolveu métodos que "melhoram em uma ordem de grandeza com a precisão dos intervalos padrão" fornecidos pelos métodos empíricos / básicos ou percentuais. Assim, pode-se argumentar que nem os métodos empírico / básico nem o percentil devem ser utilizados, se você se preocupa com a precisão dos intervalos.

Em casos extremos, por exemplo, amostragem diretamente de uma distribuição lognormal sem transformação, nenhuma estimativa de IC inicializada pode ser confiável, como observou Frank Harrell .

O que limita a confiabilidade desses e de outros ICs inicializados?

Vários problemas podem tornar os ICs com inicialização inicial não confiáveis. Alguns se aplicam a todas as abordagens, outros podem ser aliviados por outras abordagens que não os métodos empíricos / básicos ou percentuais.

O primeiro, em geral, questão é quão bem o empírico de distribuição representa a distribuição da população . Caso contrário, nenhum método de inicialização será confiável. Em particular, a inicialização para determinar algo próximo a valores extremos de uma distribuição pode não ser confiável. Esse problema é discutido em outras partes deste site, por exemplo, aqui e aqui . Os poucos valores discretos disponíveis nas caudas de para qualquer amostra em particular podem não representar muito bem as caudas de um contínuo . Um caso extremo, mas ilustrativo, está tentando usar o bootstrapping para estimar a estatística de ordem máxima de uma amostra aleatória a partir de um uniforme $\hat F$ $F$ $\hat F$ $F$ $\;\mathcal{U}[0,\theta]$ distribuição, conforme explicado aqui . Observe que o IC inicializado de 95% ou 99% está no topo de uma distribuição e, portanto, pode sofrer com esse problema, principalmente com amostras pequenas.

Em segundo lugar, não há nenhuma garantia de que a amostragem de qualquer quantidade de terão a mesma distribuição de amostragem-lo de . No entanto, essa suposição está subjacente ao princípio fundamental do bootstrap. Quantidades com essa propriedade desejável são denominadas essenciais . Como AdamO explica : $\hat F$ $F$

Isso significa que, se o parâmetro subjacente for alterado, o formato da distribuição será alterado apenas por uma constante e a escala não será necessariamente alterada. Esta é uma forte suposição!

Por exemplo, se houver viés, é importante saber que a amostragem de torno de é a mesma que a amostragem de torno de . E este é um problema particular na amostragem não paramétrica; como ref. 1 coloca na página 33: $F$ $\theta$ $\hat F$ $t$

Em problemas não paramétricos, a situação é mais complicada. Agora é improvável (mas não estritamente impossível) que qualquer quantidade possa ser exatamente essencial.

Portanto, o melhor que normalmente é possível é uma aproximação. Esse problema, no entanto, muitas vezes pode ser resolvido adequadamente. É possível estimar até que ponto uma quantidade amostrada deve ser pivotada, por exemplo, com gráficos de pivô, conforme recomendado por Canty et al . Eles podem mostrar como as distribuições das estimativas de inicialização variam com , ou quão bem uma transformação fornece uma quantidade que é crucial. Os métodos para ICs melhorados com inicialização inicial podem tentar encontrar uma transformação modo que esteja mais próximo do ponto central para estimar ICs na escala transformada e depois voltar à escala original. $(T^*-t)$ $t$ $h$ $(h(T^*)-h(t))$ $h$ $(h(T^*)-h(t))$

A boot.ci()função fornece studentized de bootstrap ICs (chamado "bootstrap- t " por DiCiccio e Efron ) e ICs (viés corrigido e acelerada, onde os "aceleração" lida com inclinação) que são "segunda ordem exacta" em que a diferença entre o a cobertura desejada e alcançada (por exemplo, IC95%) é da ordem de , versus apenas a precisão de primeira ordem (ordem de ) para os métodos empíricos / básicos e percentuais ( Ref. 1 , pp. 212-3; Ref. 4 ). Esses métodos, no entanto, exigem acompanhar as variações dentro de cada uma das amostras de inicialização, não apenas os valores individuais do $BC_a$ $\alpha$ $n^{-1}$ $n^{-0.5}$ $T_j^*$ usado por esses métodos mais simples.

Em casos extremos, pode ser necessário recorrer à inicialização dentro das próprias amostras para fornecer um ajuste adequado dos intervalos de confiança. Este "Double Bootstrap" está descrito na Seção 5.6 da Ref. 1 , com outros capítulos nesse livro sugerindo maneiras de minimizar suas demandas computacionais extremas.

— EdM
fonte

1

Eu realmente não entendo por que você diz que "inicialização empírica" seria "muito menos sensível" a desvios da distribuição da população. O bootstrap de percentil e esse "bootstrap empírico" não estão usando exatamente os mesmos quantis da distribuição do bootstrap? Eu pensei que a única diferença é que, se a distribuição de bootstrap for assimétrica em torno da média da amostra, os intervalos dessas duas abordagens serão invertidos. Como descrito aqui: en.wikipedia.org/wiki/… ("básico" vs "percentil").

— Ameba diz Reinstate Monica

1

@amoeba eles diferem na maneira como lidam com o viés nas estimativas de bootstrap, não apenas em inverter os intervalos. Essa resposta precisa de mais trabalho para separar os problemas de inicialização empírica versus percentil dos problemas relacionados às caudas das distribuições, que eu confundi um pouco aqui e que espero esclarecer em alguns dias.

— 18718 EdM

1

Não recomendo esta resposta porque, com base nas referências fornecidas e na lógica (muito razoável) apresentada: " o bootstrap de percentil nunca deve ser usado " é simplesmente um exagero, não "um pouco de". Sim, se pudermos, devemos usar alguma forma de método de bootstrap corrigido por viés, mas não, é melhor usar o bootstrap de percentil para obter estimativas de IC um tanto ineficientes, em vez de irracionalmente colocar 2SE na média e pensar que descobrimos a América. (I, em grande parte concordo com o que o corpo principal da resposta diz, não apenas o último parágrafo, pois sinto que deixa a porta aberta a interpretações erradas.)

— usεr11852 diz Reintegrar Monic

1

Substancialmente reorganizado e corrigido, em parte em resposta a comentários.

— EDM

1

@Confundiu o que você escreveu é equivalente ao formulário que forneci para o bootstrap empírico / básico. Observe que é , onde é o percentil superior de interesse entre as amostras de inicialização. Então . Eu usei para o seu e expressei como a média da inicialização mais um deslocamento .

U^{*}

$U^*$

{\hat{θ}}_{U}^{*} - \hat{θ}

$\hat\theta^*_U - \hat\theta$

{\hat{θ}}_{U}^{*}

$\hat\theta^*_U$

\hat{θ} - U^{*} = \hat{θ} - ({\hat{θ}}_{U}^{*} - \hat{θ}) = 2 \hat{θ} - {\hat{θ}}_{U}^{*}

$\hat\theta - U^* = \hat\theta -(\hat\theta^*_U - \hat\theta)=2 \hat\theta - \hat\theta^*_U$

t

$t$

\hat{θ}

$\hat\theta$

{\hat{θ}}_{U}^{*}

$\hat\theta^*_U$

{\bar{T}}^{*}

$\bar T^*$

δ_{2}

$\delta_2$

— EdM

8

Alguns comentários sobre diferentes terminologias entre o MIT / Rice e o livro de Efron

Eu acho que a resposta de EdM faz um trabalho fantástico em responder à pergunta original dos OPs, em relação às notas de aula do MIT. No entanto, o OP também cita o livro de Efrom (2016) Computer Age Statistical Inference, que usa definições ligeiramente diferentes que podem levar à confusão.

Capítulo 11 - Exemplo de correlação da amostra da pontuação do aluno

Este exemplo usa uma amostra para a qual o parâmetro de interesse é a correlação. Na amostra, observa-se como . O Efron então executa replicações não paramétricas de bootstrap para a correlação da amostra da pontuação do aluno e plota o histograma dos resultados (página 186) $\hat \theta = 0.498$ $B = 2000$ $\hat \theta^*$

Bootstrap de intervalo padrão

Ele então define o seguinte intervalo de inicialização padrão :

\hat{θ} \pm 1.96 \hat{s e}

$\hat \theta \pm 1.96 \hat{se}$

Para cobertura de 95%, em que é considerado o erro padrão de inicialização: , também chamado de desvio padrão empírico dos valores da inicialização. $\hat{se}$ $se_{boot}$

Desvio padrão empírico dos valores de inicialização:

Seja a amostra original e a amostra de inicialização seja . Cada amostra de bootstrap fornece uma replicação de bootstrap da estatística de interesse: $\mathbf{x} = (x_1,x_2,...,x_n)$ $\mathbf{x^*} = (x_1^*,x_2^*,...,x_n^*)$ $b$

{\hat{θ}}^{* b} = s (x^{* b}) for b = 1, 2, . . ., B

$\hat \theta^{*b} = s(\mathbf{x}^{*b}) \ \text{ for } b = 1,2,...,B$

A estimativa de auto-inicialização resultante do erro padrão para é $\hat \theta$

{\hat{s e}}_{b o o t} = {[\sum_{b = 1}^{B} ({\hat{θ}}^{* b} - {\hat{θ}}^{*})^{2} / (B - 1)]}^{1 / 2}

$\hat{se}_{boot} = \left[ \sum_{b=1}^B (\hat \theta^{*b} - \hat \theta^{*})^2 / (B-1)\right]^{1/2}$

{\hat{θ}}^{*} = \frac{\sum_{b = 1}^{B} {\hat{θ}}^{* b}}{B}

$\hat \theta^{*} = \frac{\sum_{b=1}^B \hat \theta^{*b}}{B}$

Essa definição parece diferente da usada na resposta do EdM:

A empírico / inicialização de base utiliza a distribuição de entre os amostras do programa de inicialização a partir de para estimar a distribuição de dentro da população descrito por si. $(T^∗−t)$ $R$ $\hat F$ $(T−\theta)$ $F$

Bootstrap de percentil

Aqui, as duas definições parecem alinhadas. Na página 186 do Efron:

O método percentil usa a forma da distribuição de autoinicialização para melhorar os intervalos padrão. Tendo gerado réplicas , usamos os percentis de sua distribuição para definir limites de confiança de percentis . $B$ $\hat \theta^{*1}, \hat \theta^{*2},...,\hat \theta^{*B}$

Neste exemplo, são 0,118 e 0,758, respectivamente.

Citando EdM:

O bootstrap de percentil usa quantis dos valores para determinar o IC. $T^∗_j$

Comparando o método padrão e percentil, conforme definido por Efron

Com base em suas próprias definições, Efron se esforça bastante para argumentar que o método do percentil é uma melhoria. Para este exemplo, o IC resultante é:

Conclusão

Eu argumentaria que a pergunta original do OP está alinhada com as definições fornecidas pela EdM. As edições feitas pelo OP para esclarecer as definições estão alinhadas ao livro de Efron e não são exatamente as mesmas para o IC de auto-inicialização empírica versus padrão.

Comentários são bem-vindos

— Xavier Bourret Sicotte
fonte

2

Obrigado pelo esclarecimento terminológico. À primeira vista, os ICs de "intervalo padrão de inicialização" parecem ser semelhantes aos ICs "normais" produzidos por boot.ci(), na medida em que são baseados em uma aproximação normal dos erros e são forçados a ser simétricos em relação à estimativa amostral de . Isso é diferente dos ICs "empíricos / básicos", que, como os ICs "percentis", permitem assimetria. Fiquei surpreso com a grande diferença entre os ICs "empíricos / básicos" e os "percentis" no viés de manipulação; Eu não tinha pensado muito sobre isso até tentar responder a essa pergunta.

θ

$\theta$

— 21818 EdM

Acabei de verificar o manual para boot.ci(): "Os intervalos normais também usam a correção de viés de autoinicialização". Portanto, isso parece ser uma diferença do "bootstrap de intervalo padrão" descrito por Efron.

— 21818 EdM

Fair suficiente - os intervalos normais descritas no livro é o caso de base a partir do qual ele constrói a melhor e abordagens mais precisas (todo o caminho para BC e BCA) por isso faz sentido que não é implementado

— Xavier Bourret Sicotte

@ Edm e Xavier: a Inferência Estatística da Era do Computador descreve os ICs "empíricos / básicos"? Se sim, como o livro os chama? Se não, não é estranho?

— Ameba diz Reinstate Monica

1

@amoeba, não que eu possa ver à primeira vista. O livro está disponível em pdf para uso pessoal. Como argumento na minha resposta e conforme observado no livro, existem opções melhores do que os ICs "empíricos / básicos" e "percentis" com relação à cobertura, para que eu possa ver por que alguém pode ser omitido: sem viés e com IC simétrico, não há muita diferença entre eles. Certamente não posso culpar o inventor do bootstrap por enfatizar seu método inicial de IC, pois ele leva mais diretamente a BC e BCa do que "empírico / básico".

— EdM

5

Estou seguindo a sua diretriz: "Procurando por uma resposta que contenha fontes confiáveis e / ou oficiais".

O bootstrap foi inventado por Brad Efron. Eu acho justo dizer que ele é um estatístico distinto. É fato que ele é professor em Stanford. Eu acho que isso torna suas opiniões credíveis e oficiais.

Acredito que a Inferência Estatística da Era do Computador de Efron e Hastie é seu último livro e, portanto, deve refletir suas visões atuais. Da p. 204 (11.7, notas e detalhes),

Os intervalos de confiança do bootstrap não são exatos nem ideais, mas visam uma ampla aplicabilidade combinada com precisão quase exata.

Se você ler o Capítulo 11, "Intervalos de confiança de auto-inicialização", ele fornecerá 4 métodos para criar intervalos de confiança de auto-inicialização. O segundo desses métodos é (11.2) O Método Percentil. O terceiro e o quarto métodos são variantes do método do percentil que tentam corrigir o que Efron e Hastie descrevem como um viés no intervalo de confiança e para o qual fornecem uma explicação teórica.

Como um aparte, não posso decidir se existe alguma diferença entre o que o pessoal do MIT chama de IC empírico de autoinicialização e IC percentil. Posso estar tendo um peido no cérebro, mas vejo o método empírico como o método do percentil após subtrair uma quantidade fixa. Isso não deve mudar nada. Provavelmente estou lendo errado, mas ficaria muito grato se alguém puder explicar como estou entendendo errado o texto deles.

Independentemente disso, a principal autoridade não parece ter problemas com os ICs de percentis. Eu também acho que o comentário dele responde às críticas do IC de autoinicialização mencionadas por algumas pessoas.

MAIOR ADICIONAR

Em primeiro lugar, depois de dedicar um tempo para digerir o capítulo e os comentários do MIT, o mais importante a ser observado é que o que o MIT chama de bootstrap empírico e bootstrap de percentil difere - O bootstrap empírico e o bootstrap de percentil serão diferentes no que eles chamam de empírico bootstrap será o intervalo enquanto o bootstrap de percentil terá o intervalo de confiança . Eu argumentaria ainda que, de acordo com Efron-Hastie, o bootstrap de percentil é mais canônico. A chave para o que o MIT chama de inicialização empírica é examinar a distribuição de . Mas por que , por que não $[\bar{x*}-\delta_{.1},\bar{x*}-\delta_{.9}]$ $[\bar{x*}-\delta_{.9},\bar{x*}-\delta_{.1}]$
$\delta = \bar{x} - \mu$ $\bar{x} - \mu$ $\mu-\bar{x}$ . Tão razoável. Além disso, o delta para o segundo conjunto é o bootstrap de percentil corrompido! Efron usa o percentil e acho que a distribuição dos meios reais deve ser mais fundamental. Eu acrescentaria que, além do Efron e Hastie e o artigo de 1979 de Efron mencionado em outra resposta, Efron escreveu um livro sobre o bootstrap em 1982. Nas três fontes, há menções ao percentil de bootstrap, mas não encontro menção do que o pessoal do MIT chama de bootstrap empírico. Além disso, tenho certeza de que eles calculam o percentil de inicialização incorretamente. Abaixo está um caderno R que escrevi.

Comentários sobre a referência do MIT Primeiro, vamos colocar os dados do MIT em R. Eu fiz um trabalho simples de recortar e colar suas amostras de bootstrap e salvei-o no boot.txt.

Ocultar orig.boot = c (30, 37, 36, 43, 42, 43, 43, 46, 41, 42) boot = read.table (file = "boot.txt") significa = as.numeric (lapply (boot , mean)) # lapply cria listas, não vetores. Eu o uso SEMPRE para quadros de dados. mu = média (orig.boot) del = classificação (média - mu) # as diferenças mu significa del E mais

Ocultar mu - sort (del) [3] mu - sort (del) [18] Portanto, obtemos a mesma resposta que eles. Em particular, tenho o mesmo percentil 10 e 90. Quero ressaltar que o intervalo do 10º ao 90º percentil é 3. É o mesmo que o MIT.

Quais são os meus meios?

Ocultar significa classificar (significa) Estou recebendo meios diferentes. Ponto importante - meu 10º e 90º significam 38,9 e 41,9. Isto é o que eu esperaria. Eles são diferentes porque estou considerando distâncias de 40,3, então estou revertendo a ordem de subtração. Observe que 40,3-38,9 = 1,4 (e 40,3 - 1,6 = 38,7). Então, o que eles chamam de bootstrap de percentil fornece uma distribuição que depende dos meios reais que obtemos e não das diferenças.

Ponto-chave O bootstrap empírico e o percentil serão diferentes no que eles chamam de bootstrap empírico será o intervalo [x ∗ ¯ − δ.1, x ∗ ¯ − δ.9] [x ∗ ¯ − δ.1, x ∗ ¯ − δ.9] enquanto o percentil de autoinicialização terá o intervalo de confiança [x ∗ ¯ − δ.9, x ∗ ¯ − δ.1] [x ∗ ¯ − δ.9, x ∗ ¯ − δ.1 ] Normalmente, eles não deveriam ser tão diferentes. Tenho meus pensamentos sobre qual eu preferiria, mas não sou a fonte definitiva que o OP solicita. Experimento de pensamento - os dois devem convergir se o tamanho da amostra aumentar. Observe que existem 210210 amostras possíveis de tamanho 10. Não vamos enlouquecer, mas e se coletarmos 2000 amostras - um tamanho geralmente considerado suficiente.

Ocultar set.seed (1234) # reproduzível boot.2k = matrix (NA, 10,2000) para (i in c (1: 2000)) {boot.2k [, i] = sample (orig.boot, 10, replace = T)} mu2k = sort (aplique (boot.2k, 2, mean)) Vamos dar uma olhada no mu2k

Ocultar resumo (mu2k) média (mu2k) -mu2k [200] média (mu2k) - mu2k [1801] E os valores reais -

Ocultar mu2k [200] mu2k [1801] Então agora o que o MIT chama de bootstrap empírico fornece um intervalo de confiança de 80% de [, 40,3 -1,87,40,3 +1,64] ou [38,43,41,94] e sua má distribuição de percentil fornece [38,5, 42] É claro que isso faz sentido, porque a lei dos grandes números dirá nesse caso que a distribuição deve convergir para uma distribuição normal. Aliás, isso é discutido em Efron e Hastie. O primeiro método que eles fornecem para calcular o intervalo de inicialização é usar mu = / - 1,96 sd. Como apontam, para um tamanho de amostra suficientemente grande, isso funcionará. Eles então fornecem um exemplo para o qual n = 2000 não é grande o suficiente para obter uma distribuição aproximadamente normal dos dados.

Conclusões Primeiramente, quero declarar o princípio que uso para decidir questões de nomeação. “É meu partido que eu posso chorar se quiser.” Embora originalmente enunciado por Petula Clark, acho que também aplica estruturas de nomes. Portanto, com sincera deferência ao MIT, acho que Bradley Efron merece nomear os vários métodos de inicialização como desejar. O que ele faz ? Não encontro menção em Efron de 'inicialização empírica', apenas percentil. Então, eu discordo humildemente de Rice, MIT, et al. Eu também apontaria que, pela lei dos grandes números, conforme usado na palestra do MIT, empírico e percentil devem convergir para o mesmo número. Para mim, o bootstrap de percentil é intuitivo, justificado e o que o inventor do bootstrap tinha em mente. Eu acrescentaria que dediquei tempo para fazer isso apenas para minha própria edificação, e não para mais nada. Em particular, Não escrevi Efron, o que provavelmente é o que o OP deve fazer. Estou muito disposto a ser corrigido.

— aginensky
fonte

3

"Acho justo dizer que ele é um estatístico distinto". - Sim, eu diria que é justo!

— Xavier Bourret Sicotte

Eu acho que o OP chama de "boostrap empírico" é o que a Wikipedia chama de "bootstrap básico" aqui en.wikipedia.org/wiki/… . Ele usa os mesmos percentis que o "bootstrap de percentil", você está certo, mas meio que os inverte. Efron e Hastie incluem isso em seus quatro métodos? Como eles chamam isso?

— Ameba diz Reinstate Monica

Tentei esclarecer isso na pergunta com base no que li nas notas do MIT. Deixe-me saber se algo não está claro (ou se você tiver tempo para verificar as notas, verifique meu post para ver se está correto).

— Clarinetist

@ Xavier alguém poderia argumentar que minha declaração de Efron era pouco.

— aginensky

1

Sua declaração de que "o que eles chamam de inicialização empírica será o intervalo ", onde é a média das estimativas de autoinicialização, está incorreta em termos da página do MIT vinculada pelo OP. O bootstrap empírico / básico examina a distribuição das diferenças das estimativas de bootstrap a partir da estimativa original da amostra , não a distribuição das próprias estimativas de bootstrap. Isso leva a sérias diferenças no IC, se houver viés, como minha resposta explica. Veja esta página para um exemplo.

[\bar{x *} - δ_{.1}, \bar{x *} - δ_{.9}]

$[\bar{x*}-\delta_{.1},\bar{x*}-\delta_{.9}]$

\bar{x *}

$\bar{x*}$

— EdM

2

Como já observado nas respostas anteriores, o "bootstrap empírico" é chamado de "bootstrap básico" em outras fontes (incluindo a função R boot.ci ), que é idêntico ao "bootstrap de percentil" invertido na estimativa pontual. Venables e Ripley escrevem ("Modern Applied Statstics with S", 4a ed., Springer, 2002, p. 136):

Em problemas assimétricos, os intervalos básico e percentual diferem consideravelmente, e os intervalos básicos parecem mais racionais.

Por curiosidade, fiz extensas simulações de MonteCarlo com dois estimadores assimetricamente distribuídos e descobri - para minha própria surpresa - exatamente o oposto, ou seja, que o intervalo percentil superou o intervalo básico em termos de probabilidade de cobertura. Aqui estão meus resultados com a probabilidade de cobertura para cada tamanho de amostra estimado com um milhão de amostras diferentes (extraído deste Relatório Técnico , p. 26f): $n$

1) Média de uma distribuição assimétrica com densidade Nesse caso, os intervalos de confiança clássicos e são fornecidos para comparação. $f(x)=3x^2$ $\pm t_{1-\alpha/2}\sqrt{s^2/n})$ $\pm z_{1-\alpha/2}\sqrt{s^2/n})$

2) Estimador de máxima verossimilhança para na distribuição exponencial Nesse caso, dois intervalos de confiança alternativos são dados para comparação: vezes a probabilidade de log Hessian inverso e vezes o estimador de variação de Jackknife. $\lambda$ $\pm z_{1-\alpha/2}$ $\pm z_{1-\alpha/2}$

Nos dois casos de uso, o bootstrap do BCa tem a maior probabilidade de cobertura entre os métodos de bootstrap e o bootstrap de percentil tem maior probabilidade de cobertura do que o bootstrap básico / empírico.

— cdalitz
fonte