Existe um resultado que forneça o bootstrap válido se e somente se a estatística for suave?

Ao longo do tempo, assumimos que nossa estatística é uma função de alguns dados que são extraídos da função de distribuição ; a função de distribuição empírica da nossa amostra é . Então é a estatística visto como uma variável aleatória e é a versão de bootstrap da estatística. Usamos como a distância KS $\theta(\cdot)$ $X_1, \ldots X_n$ $F$ $\hat{F}$ $\theta(F)$ $\theta(\hat{F})$ $d_\infty$

Existem resultados "se e somente se" para a validade do bootstrap se a estatística for uma estatística linear simples. Por exemplo, teorema 1 de Mammen "Quando o bootstrap funciona?"

Se para alguma função arbitrária, em seguida, as obras de bootstrap no sentido em quese e somente se existiretal que $\theta(F) = \frac{1}{n} \sum_{i-1}^n h_n(X_i)$ $h_n$
$d_{\infty} [L (θ (\hat{F}) - {\hat{t}}_{n}), L (θ (F) - t_{n})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(\hat{F})-\hat{t}_n), \mathscr{L}(\theta(F)-t_n)\big] \underset{p}{\rightarrow} 0$ $\sigma_n$ $t_n$ Onde podemos definir como uma função da nossa amostra e $d_{\infty} [L (θ (F) - t_{n}), N (0, σ_{n}^{2})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(F)-t_n), N(0, \sigma_n^2)\big]\underset{p}{\rightarrow} 0$ $\hat{t_n}$ $t_n = \mathbb{E}(\hat{t}_n)$

Também existem resultados mais gerais de que o bootstrap funciona para estatísticas gerais, por exemplo, o Teorema 1.6.3 de Subsampling por Politis Romano e Wolf:

Suponha que seja extraído da classe de todas as distribuições com suporte finito. Suponha que a estatística é Frechet diferenciável em com relação à norma suprema e a derivada satisfaz . Então é assintoticamente normal e o bootstrap funciona no sentido do teorema anterior. $F$ $\theta(\cdot)$ $F$ $g_F$ $0 < \textrm{Var}_F[g_F(x)] < \infty$ $\theta(F)$

Eu gostaria de uma versão "se e somente se" do segundo teorema. Isso exigirá uma noção de suavidade diferente da diferenciabilidade de Frechet, porque Politis, Romano e Wolf (1999) mostram que a mediana da amostra não é diferenciável de Frechet, mas o bootstrap ainda funciona. No entanto, a mediana da amostra ainda é uma função suave dos dados.

Há alguns comentários informais em Mammen de que a suavidade é necessária:

Normalmente, a linearidade assintótica local parece ser necessária para a consistência do bootstrap

A citação é:

van Zwet, W (1989). Palestra proferida na conferência sobre "Métodos assintóticos para procedimentos intensivos em computação em estatística" em Olberwolfach.

Mas não consigo encontrar nenhum traço dessa conversa além de algumas citações.

— orizon
fonte

Excelente tópico. É correto que todos os resultados citados sejam assintóticos para tamanhos de amostra que vão ao infinito?

— 22668 Michael M -

@ Michael Obrigado e sim, tudo é assintótico como

. Aliás, há alguns trabalhos recentes com resultados para amostras finitas (por exemplo, arxiv.org/pdf/1212.6906.pdf ), mas é muito técnico.

n \to \infty

$n \rightarrow \infty$

— Orizon

Tópico complicado. Alguns dizem que o bootstrap não funciona em geral. van Zwer et al. diz que é preciso ter cuidado com o que é inicializado . Eu acho que é preciso estabelecer o que inicializar e o que não inicializar antes de se justificar mais testes.

— Carl

Agora atualizei a resposta em resposta ao comentário de Mammen, espero que esclareça sua confusão ainda mais. E se você quiser, pode explicar um pouco sobre o aplicativo que o motiva a perguntar sobre a necessidade. Isso vai me ajudar a melhorar minha resposta.

— precisa saber é o seguinte

(1) Por que estimadores quantílicas não são Frechet diferenciável mas o seu estimador de bootstrap ainda é consistente? $\blacksquare$

Você precisa da diferencialidade do Hadamard (ou diferenciável compacta, dependendo da fonte de referência) como uma condição suficiente para fazer o bootstrap funcionar nesse caso, a mediana e qualquer quantil é diferenciado pelo Hadamard. A diferenciabilidade do Frechet é muito forte na maioria das aplicações.

Como geralmente basta discutir um espaço polonês, você deseja que uma funcionalidade localmente linear aplique um argumento típico de compactação para estender seu resultado de consistência à situação global. Veja também o comentário de linearização abaixo.

O teorema 2.27 de [Wasserman] lhe dará uma intuição de como a derivada de Hadamard é uma noção mais fraca. E Teorema 3,6 e 3,7 [Shao & Tu] dará condição suficiente para fraca consistência em termos de -Hadamard derivabilidade do funcional estatística com tamanho observação . $\rho$ $T_{n}$ $n$

(2) O que vai afetar a consistência de estimadores de bootstrap? $\blacksquare$

[Shao & Tu] pp.85-86 ilustram situações em que pode ocorrer inconsistência dos estimadores de autoinicialização.

(1) A inicialização é sensível ao comportamento cauda da população . A consistência de $F$ requer condições de momento mais rigorosas do que as necessárias para a existência do limite de . $H_{BOOT}$ $H_0$

(2) A consistência do estimador de bootstrap requer um certo grau de suavidade a partir da estatística fornecida (funcional) . $T_{n}$

(3) O comportamento do estimador de autoinicialização às vezes depende do método usado para obter dados da autoinicialização.

E no capítulo 3.5.2 da [Shao & Tu] eles revisitou o exemplo quantil usando um kernel suavização . Observe que os momentos são funcionais lineares, a citação na sua pergunta "Normalmente, a linearidade assintótica local parece ser necessária para a consistência do bootstrap" está exigindo algum nível de analiticidade do funcional, o que pode ser necessário porque, se isso falhar, você poderá criar algum caso patológico como a função Weierstrass (que é contínua, mas em nenhum lugar diferenciável). $K$

(3) linearidade Por local parece necessária para garantir a consistência do estimador de bootstrap? $\blacksquare$

Quanto ao comentário "Normalmente, a linearidade assintótica local parece ser necessária para a consistência do bootstrap" feita por Mammen, como você mencionou. Um comentário de [Shao & Tu] p.78 é o seguinte, pois eles comentaram que a linearização (global) é apenas uma técnica que facilita a prova de consistência e não indica nenhuma necessidade:

A linearização é outra técnica importante para provar a consistência dos estimadores de autoinicialização, uma vez que os resultados para estatísticas lineares estão frequentemente disponíveis ou podem ser estabelecidos usando as técnicas introduzidas anteriormente. Suponha que uma dada estatística Tn possa ser aproximada por uma variável aleatória linear $\bar{Z_n}=\frac{1}{n}\sum_{i=1}^{n}\phi(X_n)$ $\phi(X)$ $X$
$T_{n} = θ + \bar{Z_{n}} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n=\theta+\bar{Z_n}+o_{P}(\frac{1}{\sqrt{n}})$ $T_n^{*}$ $\bar{Z_n^{*}}$ $T_n$ $\bar{Z_n}$ $\{X_1^{*},\cdots,X_n^{*}\}$ . If we can establish a result for $T_n^{*}$ similar to (3.19), i.e., (3.20) $T_{n}^{*} = θ + {\bar{Z_{n}}}^{*} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n^{*}=\theta+\bar{Z_n}^{*}+o_{P}(\frac{1}{\sqrt{n}})$ then the limit of $H_{BOOT}(x)$ (where $x$ is the value of parameter) $=P\{\sqrt{n}(T_n-T_n^{*}) \leq x\}$ is the same as that of $P\{\sqrt{n}(\bar{Z_n}-\bar{Z_n}^{*}) \leq x\}$ .We have thus reduced the problem to a problem involving a "sample mean" $\bar{Z_n}$ , whose bootstrap distribution estimator can be shown to be consistent using the methods in Sections 3.1.2-3.1.4.

And they gave an example 3.3 of obtaining the bootstrap consistency for MLE type bootstrapping. However if global linearity is effective in that way, it is hard to imagine how one would prove consistency without local linearity. So I guess that is what Mammen wanted to say.

$\blacksquare$ (4)Further comments

Beyond the discussion provided by [Shao&Tu] above, I think what you want is a characterization condition of consistency of bootstrap estimators.

Pitifully, I do not know one characterization of consistency of a bootstrap estimator for a very general class of distribution in $M(X)$ . Even if there is one I feel it requires not only smoothness of $T$ . But there does exist characterization for a certain class of statistical models like $CLT$ class in [Gine&Zinn]; or commonly compactly supported class(directly from above discussion) defined over a Polish space.

Plus, the Kolmogorov-Smirnov distance, according to my taste is the wrong distance if our focus is classic asymptotics(in contrast to "uniform" asymptotics for empirical processes). Because KS-distance does not induce the weak topology which is a natural ground for study of asymptotic behavior, the weak topology on the space $M(X)$ is induced by bounded Lipschitz distance(OR Prohorov-Levy distance) as adopted by [Huber] and many other authors when the focus is not empirical process. Sometimes the discussion of limiting behavior of empirical process also involve BL-distance like[Gine&Zinn].

I hate to be cynical yet I still feel that this is not the only statistical writing that is "citing from void". By saying this I simply feel the citation to van Zwet's talk is very irresponsible although van Zwet is a great scholar.

$\blacksquare$ Reference

[Wasserman]Wasserman, Larry. All of Nonparametric Statistics, Springer, 2010.

[Shao&Tu]Shao, Jun, and Dongsheng Tu. The jackknife and bootstrap. Springer, 1995.

[Gine&Zinn]Giné, Evarist, and Joel Zinn. "Bootstrapping general empirical measures." The Annals of Probability (1990): 851-869.

[Huber]Huber, Peter J. Robust statistics. Wiley, 1985.

— Henry.L
fonte