Quando o Teorema do Limite Central e a Lei dos Grandes Números discordam


19

Essa é essencialmente uma replicação de uma pergunta que encontrei no math.se , que não obteve as respostas que eu esperava.

Seja uma sequência de variáveis ​​aleatórias independentes e identicamente distribuídas, com e . E [ X i ] = 1 V [ X i ] = 1{Xi}iNE[Xi]=1V[Xi]=1

Considere a avaliação de

limnP(1ni=1nXin)

Essa expressão deve ser manipulada, pois, como é, ambos os lados do evento de desigualdade tendem ao infinito.

A) TENTE SUBTRACÇÃO

Antes de considerar a instrução limitadora, subtraia n de ambos os lados:

limnP(1ni=1nXinnn)=limnP(1ni=1n(Xi1)0)=Φ(0)=12

a última igualdade do CLT, onde Φ() é a função de distribuição normal padrão.

B) TENTE MULTIPLICAÇÃO

Multiplique ambos os lados por 1/n

limnP(1n1ni=1nXi1nn)=limnP(1ni=1nXi1)

=limnP(X¯n1)=limnFX¯n(1)=1

onde FX¯n() é a função de distribuição da amostra média X¯n , que pelo LLN converge em probabilidade (e também em distribuição) para a constante 1 , daí a última igualdade.

Então, obtemos resultados conflitantes. Qual é o caminho certo? E por que o outro está errado?


1
@JuhoKokkala Claro, aqui está, math.stackexchange.com/q/2830304/87400 Apenas ignore o erro do OP lá.
Alecos Papadopoulos

2
Eu acho que o problema está na segunda declaração invocando o LLN
Glen_b -Reinstate Monica

3
Eu te segui até a igualdade final. Está claramente errado, porque esperamos que se aproxime de para grande e, portanto, seu limite não deve ser igual a Qual é a justificativa pretendida? Não é a afirmação de nenhuma versão de uma lei de grandes números que eu conheço. 1 / 2 n 1.P(X¯n1)1/2n1.
whuber

1
@whuber Supostamente, que toda a probabilidade da média da amostra se concentra no valor . Se isso estiver errado, acredito que é importante que o erro seja detalhado em uma resposta, esse é o objetivo desta pergunta. 1
Alecos Papadopoulos

2
Alecos, minha preocupação não é se o passo final está errado: diz respeito às suas razões para fazê-lo. Afinal, não é disso que se trata a questão? Ainda não li nada de você sobre essas razões e hesitaria em adivinhar o que elas poderiam ser. Embora você se refira a um "LLN", acredito que a solução do seu problema provavelmente esteja na descrição precisa do que você entende "LLN" a afirmar.
whuber

Respostas:


15

O erro aqui provavelmente ocorre no seguinte fato: a convergência na distribuição assume implicitamente que converge para nos pontos de continuidade de . Como a distribuição limite é de uma variável aleatória constante, ela tem uma descontinuidade de salto em , portanto, é incorreto concluir que o CDF converge para . F ( x ) M ( X ) x = 1 F ( x ) = 1Fn(x)F(x) F(x)x=1F(x)=1


1
A maneira como definimos convergência na distribuição não exclui a possibilidade de convergência nos pontos de descontinuidade - apenas não exige isso.
Alecos Papadopoulos

1
Mas se a convergência na distribuição não exige que converja para , em que se baseia a última igualdade na questão? F ( 1 )Fn(1)F(1)
Juho Kokkala

1
@ Juho Não é baseado em nada - esse é o cerne da questão. Não existe um teorema que permita fazer a última equação na questão.
whuber

1
@AlecosPapadopoulos: Eu nunca disse que isso não exclui a possibilidade. Estou dizendo implicitamente que você precisa justificar a última igualdade além do que lhe é dado pela convergência na distribuição. Por exemplo, se é Bernoulli, seria verdade. Xn
Alex R.

11

Para variáveis ​​aleatórias iid com defina Agora, o CLT diz que, para cada número real fixo , . O OP aplica o CLT para avaliar E [ X i ] = var ( X i ) = 1 Z nXiE[Xi]=var(Xi)=1zlimnFZn(z)=Φ(z-1)limnP(Zn1

Zn=1ni=1nXi,Yn=1ni=1nXi.
zlimnFZn(z)=Φ(z1)
limnP(Zn1n)=Φ(0)=12.

Como as outras respostas, bem como vários comentários sobre a pergunta do OP, apontaram, é a avaliação do OP de que é suspeita. Considere o caso especial quando o iid são variáveis ​​aleatórias discretas assumindo os valores e com probabilidade igual . Agora, pode assumir todos os valores inteiros pares em e, quando for ímpar, não pode assumir o valor e, portanto, não pode assumir o valorX i 0 2 1limnP(Yn1)Xi02 n i = 1 Xi[0,2n]n n i = 1 XinYn=112i=1nXi[0,2n]ni=1nXin1Yn1P(Yn1)=FYn(1)1Yn=1ni=1nXi 1. Além disso, como a distribuição de é simétrica em torno de , temos que tem valor sempre que é ímpar. Assim, a sequência dos números contém a subsequência nos quais todos os termos têm valor . Por outro lado, a subsequência está convergindo para . Conseqüentemente,Yn1P(Yn1)=FYn(1) nP(Y11),P(Y21),,P(Yn1),P(Y11),P(Y31),,P(Y2k-11),112n

P(Y11),P(Y21),,P(Yn1),
P(Y11),P(Y31),,P(Y2k11),
P(Y21),P(Y41),,P(Y2k1),1limnP(Yn1)P(Yn1)12
P(Y21),P(Y41),,P(Y2k1),
1limnP(Yn1) não existe e as reivindicações de convergência de para 1 devem ser vistas com muita suspeita.P(Yn1)

8

Seu primeiro resultado é o correto. Seu erro ocorre na segunda parte, na seguinte declaração incorreta:

limnFX¯n(1)=1.

Esta afirmação é falsa (o lado direito deve ser ) e não segue a lei dos grandes números, como afirmado. A lei fraca de grandes números (que você invoca) diz que:12

limnP(|X¯n1|ε)=1for all ε>0.

Para todo a condição abrange alguns valores em que e alguns valores em que . Portanto, o LLN não segue que .ε>0|X¯n1|εX¯n1X¯n>1limnP(X¯n1)=1


1
O resultado (errôneo) provém da implicação "convergência em probabilidade implica convergência em distribuição". A questão não afirma que a afirmação vem diretamente do LLN.
Alecos Papadopoulos

@AlecosPapadopoulos: Convergência em probabilidade faz implica convergência na distribuição. Novamente, a convergência na distribuição é necessária apenas em pontos de continuidade. Mas, talvez você queira dizer que convergência em probabilidade não implica convergência pontual de distribuição.
Alex R.

@AlexR. Não sei onde está sua objeção. Acredito que esse problema esteja coberto na minha própria resposta.
Alecos Papadopoulos

3

Convergência em probabilidade implica convergência em distribuição. Mas ... que distribuição? Se a distribuição limitadora tiver uma descontinuidade de salto, os limites se tornarão ambíguos (porque vários valores são possíveis na descontinuidade).

onde é a função de distribuição da amostra média , que pelo LLN converge em probabilidade (e também em distribuição) para a constante ,FX¯n()X¯n1

Isso não está certo, e também é fácil mostrar que não pode estar certo (diferente da discordância entre CLT e LLN). A distribuição limitadora (que pode ser vista como o limite para uma sequência de variáveis ​​distribuídas normais) deve ser:

FX¯(x)={0for x<10.5for x=11for x>1

para esta função, você tem que, para qualquer e todo , a diferença para suficientemente grande . Isso falharia se vez deϵ>0x|FX¯n(x)FX¯(x)|<ϵnFX¯(1)=1FX¯(1)=0.5


Limite de uma distribuição normal

Pode ser útil escrever explicitamente a soma usada para invocar a lei dos grandes números.

X¯n=1ni=1nXiN(1,1n)

O limite para é realmente equivalente à função Dirac Delta quando é representado como o limite da distribuição normal com a variação indo a zero.nX^n

Usando essa expressão, é mais fácil ver o que está acontecendo sob o capô, em vez de usar as leis prontas do CLT e LLN que obscurecem o raciocínio por trás das leis.


Convergência em probabilidade

A lei dos grandes números fornece 'convergência em probabilidade'

limnP(|X¯n1|>ϵ)=0

comϵ>0

Uma declaração equivalente poderia ser feita para o teorema do limite central com limnP(|1n(Xi1)|>ϵn)=0

É errado afirmar que isso implica em

limnP(|X¯n1|>0)=0

É menos agradável que essa pergunta seja postada tão cedo (confusa, mas interessante ver as diferentes discussões / abordagens matemática versus estatísticas, portanto, não tão ruins assim). A resposta de Michael Hardy sobre a troca de pilha matemática lida com ela de maneira muito eficaz em termos da lei forte de grandes números (o mesmo princípio que a resposta aceita de drhab na pergunta cruzada e Dilip aqui). Temos quase certeza de que uma sequência converge para 1, mas isso não significa queX¯1,X¯2,X¯3,...X¯nlimnP(X¯n=1)será igual a 1 (ou talvez nem exista como mostra Dilip). O exemplo de dado nos comentários de Tomasz mostra isso muito bem de um ângulo diferente (em vez de o limite não existir, o limite passa a zero). A média de uma sequência de jogadas de dados irá convergir para a média dos dados, mas a probabilidade de ser igual a isso será zero.


Função passo a passo e função delta Dirac

O CDF de é o seguinte:X¯n

FX¯n(x)=12(1+erfx12/n)

com, se você , (relacionada à função de passo Heaviside , a integral da função delta Dirac quando vista como o limite de distribuição normal).limnFX¯n(1)=0.5


Acredito que essa visão resolva intuitivamente sua pergunta sobre 'mostrar que está errado' ou, pelo menos, mostra que a pergunta sobre como entender a causa desse desacordo entre CLT e LLN é equivalente à questão de entender a integral da função delta do Dirac ou uma sequência de distribuições normais com variação decrescente para zero.


2
Sua distribuição limitadora não é de fato uma distribuição. Um CDF deve ser contínuo contínuo, enquanto claramente não está em . x=1/2
Alex R.

A continuidade correta parece ser necessária para que, para cada , tenhamos como eventos está aninhado, devemos ter mas isso é verdade para o nosso caso e onde está o problema? Essa continuidade correta é necessária com base em axiomas de probabilidade ou é apenas uma convenção para que o CDF funcione nos casos mais comuns? alimnFX(a+1n)=FX(a)Xa+1n
limnFX(a+1n)=limnP(Xa+1n)=P(limnXa+1n)=P(Xa)=FX(a)
Sextus Empiricus

@ Martin Weterings: É precisamente de onde vem. Qualquer medida válida deve satisfazer esses resultados de monotonicidade. Eles são uma conseqüência da delimitação de juntamente com a aditividade contável. Mais geralmente, uma função é um CDF (isto é, corresponde a alguma distribuição via se for contínuo à direita, além de monotônico e tendo deixado o limite 0, o limite direito 1.PPF(x)PF(b)F(a)=P(a<Xb)F
Alex R.

2

Acredito que agora deve estar claro que "a abordagem CLT" dá a resposta certa.

Vamos identificar exatamente onde a "abordagem LLN" dá errado.

Começando com as instruções finitas, fica claro que podemos subtrair de ambos os lados de maneira equivalente ou multiplicar ambos os lados por . Nós temosn1/n

P(1ni=1nXin)=P(1ni=1n(Xi1)0)=P(1ni=1nXi1)

Portanto, se o limite existir, será idêntico. Definindo , temos, usando funções de distribuiçãoZn=1ni=1n(Xi1)

P(1ni=1nXin)=FZn(0)=FX¯n(1)

... e é verdade que .limnFZn(0)=Φ(0)=1/2

O pensamento da "abordagem LLN" é o seguinte: "Sabemos pelo LLN que converge em probabilidade para uma constante. E também sabemos que" convergência em probabilidade implica convergência na distribuição ". Portanto, converge em distribuição para uma constante ". Até aqui estamos corretos. Em seguida, declaramos: "portanto, as probabilidades limitantes para são fornecidas pela função de distribuição da constante em variável aleatória",X¯nX¯n
X¯n1

F1(x)={1x10x<1F1(1)=1

... então ...limnFX¯n(1)=F1(1)=1

... e nós cometemos nosso erro . Por quê? Porque, como @AlexR. resposta observada , "convergência na distribuição" abrange apenas os pontos de continuidade da função de distribuição limitadora. E é um ponto de descontinuidade para . Isso significa que pode ser igual a mas pode não ser , sem negar a implicação de "convergência na distribuição para uma constante" do LLN .1F1limnFX¯n(1) F1(1)

E, desde a abordagem CLT, sabemos qual deve ser o valor do limite ( ). Não sei como provar diretamente que .1/2limnFX¯n(1)=1/2

Aprendemos algo novo?

Eu fiz. O LLN afirma que

limnP(|X¯n1|ε)=1for all ε>0

limn[P(1ε<X¯n1)+P(1<X¯n1+ε)]=1

limn[P(X¯n1)+P(1<X¯n1+ε)]=1

O LLN não diz como é a probabilidade alocada no intervalo . O que aprendi é que, nessa classe de resultados de convergência, a probabilidade está no limite alocado igualmente nos dois lados do ponto central do intervalo de colapso. (1ε,1+ε)

A declaração geral aqui é, assuma

Xnpθ,h(n)(Xnθ)dD(0,V)

onde é algum rv com a função de distribuição . EntãoDFD

limnP[Xnθ]=limnP[h(n)(Xnθ)0]=FD(0)

... que pode não ser igual a (a função de distribuição da constante rv).Fθ(0)

Além disso, este é um exemplo forte de que, quando a função de distribuição da variável aleatória limitadora possui descontinuidades, a "convergência na distribuição para uma variável aleatória" pode descrever uma situação em que "a distribuição limitadora" pode discordar da "distribuição da variável limitante". variável aleatória "nos pontos de descontinuidade. A rigor, a distribuição limitadora dos pontos de continuidade é a da variável aleatória constante. Para os pontos de descontinuidade, podemos calcular a probabilidade limitativa, como entidades "separadas".


A perspectiva da 'lição aprendida' é interessante e este é um bom exemplo, não muito difícil, para aplicação didática. Embora eu me pergunto que tipo de aplicação prática (direta) este pensamento sobre o infinito tem, porque, eventualmente, na prátican
Sexto Empírico

@MartijnWeterings Martijn, a motivação aqui foi certamente educacional: a) como um alerta para descontinuidades, mesmo em uma situação "plana" como a convergência para uma constante, e também em geral (elas destroem a convergência uniforme, por exemplo) eb) um resultado sobre como a massa de probabilidade é alocada se torna interessante quando a sequência que converge em probabilidade para uma constante ainda tem uma variação diferente de zero.
Alecos Papadopoulos

Poderíamos dizer que o CLT digamos algo sobre convergência para uma variável distribuída normal limitante (podendo assim expressar coisas como ), mas o LLN apenas nos permite dizer que, aumentando o tamanho da amostra, nos aproximamos à média verdadeira, mas isso não significa que obtemos, com maior probabilidade, 'exatamente igual à média da amostra'. LLN significa que a média da amostra se aproxima cada vez mais de um valor limite, mas não (com maior probabilidade) igual a ele. O LLN não diz nada sobreF ( x )F(x)F(x)
Sextus Empiricus 26/06

Os pensamentos originais em torno do LLN eram realmente opostos (consulte o raciocínio de Arbuthnot stats.stackexchange.com/questions/343268 ). "É visível pelo que foi dito que, com um número muito grande de dados, o lote de A se tornaria muito pequeno ... haveria apenas uma pequena parte de todas as possibilidades possíveis, para que aconteçam a qualquer momento atribuível, que um número igual de homens e mulheres deve nascer ".
Sextus Empiricus
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.