Simulando Convergência em Probabilidade para uma constante

Os resultados assintóticos não podem ser comprovados por simulação em computador, porque são afirmações que envolvem o conceito de infinito. Mas devemos ter a sensação de que as coisas realmente marcham da maneira que a teoria nos diz.

Considere o resultado teórico

lim_{n \to \infty} P (| X_{n} | > ϵ) = 0, ϵ > 0

$\lim_{n\rightarrow\infty}P(|X_n|>\epsilon) = 0, \qquad \epsilon >0$

onde $X_n$ é uma função de $n$ variáveis aleatórias, digamos, de forma idêntica e distribuída. Isso que $X_n$ converge em probabilidade para zero. O exemplo arquetípico aqui, eu acho, é o caso em que $X_n$ é a média da amostra menos o valor esperado comum dos iidrv's da amostra,

X_{n} = \frac{1}{n} \sum_{i = 1}^{n} Y_{i} - E [Y_{1}]

$X_n = \frac 1n\sum_{i=1}^nY_i - E[Y_1]$

PERGUNTA: Como poderíamos mostrar convincentemente a alguém que a relação acima "se materializa no mundo real", usando resultados de simulação em computador de amostras necessariamente finitas?

Por favor, note que eu escolhi especificamente a convergência para uma constante .

Apresento abaixo minha abordagem como resposta, e espero por melhores.

ATUALIZAÇÃO: Algo na parte de trás da minha cabeça me incomodou - e eu descobri o que. Desenterrei uma pergunta antiga, onde uma discussão mais interessante ocorreu nos comentários de uma das respostas . Lá, o @Cardinal forneceu um exemplo de estimador de que ele é consistente, mas sua variação permanece diferente de zero e finita assintoticamente. Assim, uma variante mais difícil da minha pergunta se torna: como mostramos, por simulação, que uma estatística converge em probabilidade em uma constante, quando essa estatística mantém uma variação diferente de zero e finita assintoticamente?

— Alecos Papadopoulos
fonte

@Glen_b Vindo de você, isso equivale a um crachá. Obrigado.

— Alecos Papadopoulos

Estive pensando sobre isso de vez em quando e tudo o que descobri é esse argumento de 'concentração em torno da média'; Espero que algumas das pessoas inteligentes aqui tenham tempo para escrever algo interessante! (+1 é claro!)

— Ekvall

Penso em como uma função de distribuição (complementar no caso específico). Como quero usar a simulação por computador para mostrar que as coisas tendem da maneira que o resultado teórico nos diz, preciso construir a função de distribuição empírica de, ou a distribuição empírica da frequência relativa e, de alguma forma, mostra que, à medida que aumenta, os valores de concentre "mais e mais" a zero. $P()$ $|X_n|$ $n$ $|X_n|$

Para obter uma função de frequência relativa empírica, preciso (muito) de mais de uma amostra aumentando de tamanho, pois à medida que o tamanho da amostra aumenta, a distribuição demudanças para cada diferente . $|X_n|$ $n$

Então, eu preciso gerar a partir da distribuição das de , "em paralelo", digamos variando em milhares, cada um com algum tamanho inicial , digamos variando em dezenas de milhares. Preciso calcular o valor dede cada amostra (e para o mesmo ), ou seja, obtenha o conjunto de valores . $Y_i$ $m$ $m$ $n$ $n$ $|X_n|$ $n$ $\{|x_{1n}|, |x_{2n}|,...,|x_{mn}|\}$

Esses valores podem ser usados para construir uma distribuição de frequência relativa empírica. Tendo fé no resultado teórico, espero que "muitos" dos valores deserá "muito próximo" de zero - mas é claro, não todos. $|X_n|$

Portanto, para mostrar que os valores dede fato marchar para zero em números cada vez maiores, eu teria que repetir o processo, aumentando o tamanho da amostra para dizer , e mostrar que agora a concentração em zero "aumentou". Obviamente, para mostrar que aumentou, deve-se especificar um valor empírico para . $|X_n|$ $2n$ $\epsilon$

Isso seria suficiente? De alguma forma, podemos formalizar esse "aumento da concentração"? Esse procedimento, se realizado em mais etapas de "aumento do tamanho da amostra", e um mais próximo do outro, pode nos fornecer algumas estimativas sobre a taxa real de convergência , ou seja, algo como "massa empírica de probabilidade que se move abaixo do limiar por cada passo "de, digamos, mil? $n$

Ou, examine o valor do limite para o qual, digamos, % da probabilidade está abaixo, e veja como esse valor de é reduzido em magnitude? $90$ $\epsilon$

UM EXEMPLO

Considere os como e, portanto, $Y_i$ $U(0,1)$

| X_{n} | = | \frac{1}{n} \sum_{i = 1}^{n} Y_{i} - \frac{1}{2} |

$|X_n| = \left|\frac 1n\sum_{i=1}^nY_i - \frac 12\right|$

Primeiro, geramos amostras de tamanho cada. A distribuição de frequência relativa empírica deparece $m=1,000$ $n=10,000$ $|X_{10,000}|$ insira a descrição da imagem aqui

e notamos que % dos valores desão menores que . $90.10$ $|X_{10,000}|$ $0.0046155$

Em seguida, aumento o tamanho da amostra para . Agora, a distribuição empírica da frequência relativa deparece e notamos que % dos valores deestão abaixo de . Como alternativa, agora % dos valores caem abaixo de . $n=20,000$ $|X_{20,000}|$ insira a descrição da imagem aqui $91.80$ $|X_{20,000}|$ $0.0037101$ $98.00$ $0.0045217$

Você seria persuadido por essa demonstração?

— Alecos Papadopoulos
fonte

Não, eu não seria convencido por nenhuma demonstração, se isso fosse tudo o que é oferecido. Não é possível distinguir entre o resultado reivindicado e um resultado em que há uma quantidade muito pequena de contaminação de uma distribuição diferente de zero. Qualquer simulação em computador, para ser verdadeiramente persuasiva, deve ser acompanhada de um raciocínio que exclua esses fenômenos. (Recentemente, realizei uma série de simulações que atingiram um tamanho de amostra de - isso não é um erro de digitação - mas ainda não foram persuadidas pelos resultados, embora fossem muito sugestivos!)

10^{1000}

$10^{1000}$

— whuber

@ whuber O que você escreve parece muito interessante. Essas simulações mencionadas foram baseadas em alguns dados reais iniciais, de quais distribuições foram estimadas e depois dados artificiais adicionais foram gerados? Ou foi artificial desde o início? Se a confidencialidade não é um problema, e o tempo permitir, eu pessoalmente gostaria muito de ver uma resposta sua, fornecendo algumas visões sobre como essas simulações evoluíram e por que a dúvida permaneceu.

— Alecos Papadopoulos

Foram dados artificiais. Eu realizei essas simulações para apoiar um comentário em stats.stackexchange.com/questions/104875/… . Você verá imediatamente como uma simulação tão grande pode ser executada: para gerar uma amostra de partir de uma distribuição de Bernoulli basta desenhar um único valor a partir de uma distribuição Binomial . Quando é suficientemente grande, você também pode desenhar um valor de uma distribuição Normal . O principal truque é fazer isso com precisão de dígitos :-).

N

$N$

(1 / 2)

$(1/2)$

(N, 1 / 2)

$(N,1/2)$

N

$N$

(N / 2, \sqrt{N} / 2)

$(N/2, \sqrt{N}/2)$

1000

$1000$

— whuber

@Whuber Obrigado, vou trabalhar nisso. A propósito, a pergunta que você mencionou, a resposta e seus comentários me propuseram a investigar mais profundamente a distribuição assintótica da variação da amostra de amostras não normais, bem como a aplicabilidade do teorema de Slutsky da maneira que é usado na resposta. Espero ter alguns resultados para compartilhar.

— Alecos Papadopoulos