Bootstrap vs integração numérica

Meu entendimento da abordagem de bootstrap é baseado na estrutura de Wasserman (quase literalmente):

Seja uma estatística ( é a amostra iid retirada da distribuição ). Suponha que queremos estimar - a variação de dada .$T_n = g(X_1, ..., X_n)$$X_i$$F$$V_F(T_n)$$T_n$$F$

A abordagem de autoinicialização segue estas duas etapas:

1. Estime com , onde é a função de distribuição empírica.$V_F(T_n)$$V_{\hat{F}}(T_n)$$\hat{F}$

2. Aproximado utilizando simulação.$V_{\hat{F}}(T_n)$

Entendo corretamente que a simulação na etapa 2 pode ser substituída por um cálculo preciso, exceto que é inviável para valores praticamente úteis de ? Aqui está o meu pensamento: é exatamente igual a uma integral de . é uma função de etapa, com um número finito etapas; para que possamos ignorar todos os pontos, exceto os pontos em que$n$$V_{\hat{F}}$$T_n(X_1, ..., X_n)d\hat{F}(X_1)d\hat{F}(X_2)...d\hat{F}(X_n)$$\hat{F}$$n$$n$$d\hat{F}(x)$tem massa diferente de zero. Portanto, a integral é exatamente igual a uma soma de$n^n$termos. Uma vez$n$ exceder 14, um cálculo direto simples é impossível.

Mas tudo o que estamos tentando fazer é calcular uma integral. Por que não substituir a simulação de bootstrap de força bruta por qualquer um dos algoritmos numéricos tradicionais para obter integrais? Isso não resultaria em uma precisão muito maior pelo mesmo tempo computacional?

Mesmo algo tão simples como dividir o espaço da amostra em seções (talvez com volumes menores em que a estatística da amostra varie mais rapidamente) e estimar o valor da estatística em cada seção usando o ponto do meio, parece ser melhor do que o bootstrap cego.

o que estou perdendo?

Talvez o bootstrap funcione tão bem e tão rápido que não seja necessário fazer algo mais complicado? (Por exemplo, se a perda de precisão na etapa 1 for muito maior que na etapa 2, as melhorias na etapa 2 serão bastante inúteis.)

O bootstrap funciona notavelmente bem. Se você deseja estimar a média, a variância e alguns quantis não muito extremos da distribuição de alguns fatores de baixa dimensão.$\hat\theta(Y)$, algumas centenas a alguns milhares de re-amostras tornarão o erro de Monte Carlo desprezível, por muitos problemas realistas. Como um subproduto feliz, também oferece uma amostra de$\hat\theta(Y^*)$, que pode ser usado para procedimentos de diagnóstico, se desejado, e não é muito difícil obter medidas aceitáveis ​​de quão grande são os erros de Monte Carlo.

Ajustar um modelo de regressão, por exemplo, milhares de vezes mais (hoje) não é grande coisa, seja em termos de tempo de CPU ou esforço de codificação.

Por outro lado, a integração numérica (excluindo os métodos de Monte Carlo) pode ser difícil de codificar - você teria que decidir como dividir o espaço da amostra, por exemplo, que é uma tarefa não trivial. Esses métodos também não fornecem o diagnóstico e a precisão com que eles estimam a integral verdadeira é notoriamente difícil de avaliar.

Para fazer a maior parte do que o bootstrap faz, mas mais rapidamente, dê uma olhada no Generalized Method of Moments - para inferências baseadas em modelos de regressão (e muito mais), você pode pensar nisso como uma aproximação rápida e precisa do que o bootstrap não paramétrico daria.

A simulação mais frequentemente usada no bootstrap para o cálculo numérico da variância pode, em princípio, ser substituída por um cálculo exato ou uma aproximação alternativa da integral. Deve-se, no entanto, estar ciente de que uma simulação de "força bruta" como alternativa a outras técnicas de integração numérica é realmente uma boa idéia. A resposta para a pergunta "Não resultaria em uma precisão muito maior pelo mesmo tempo computacional?" é não .

Mas porque é isso? O fato é que a integração numérica padrão em grandes dimensões escala mal com a dimensão. Se você quiser dividir o espaço em pontos regulares da grade, digamos, com$r$ pontos de grade em cada coordenada, você acaba com $r^n$pontos de grade no total. A aproximação alcançada pela simulação (conhecida como integração Monte Carlo) pode ser vista como uma escolha inteligente de avaliações de funções. Em vez de consumir muito tempo as avaliações da grade, avaliamos apenas a função que integramos em pontos selecionados. O erro é aleatório, devido à natureza aleatória dos pontos selecionados, mas geralmente pode ser controlado pelo teorema do limite central.

Existem outros métodos, como a integração quase-Monte Carlo, sobre a qual eu praticamente não conheço nada, que fazem avaliações inteligentes de funções baseadas em números quase-aleatórios, em vez dos números pseudo-aleatórios que usamos para a integração comum de Monte Carlo.