Quando o Teorema do Limite Central e a Lei dos Grandes Números discordam


19

Essa é essencialmente uma replicação de uma pergunta que encontrei no math.se , que não obteve as respostas que eu esperava.

Seja uma sequência de variáveis ​​aleatórias independentes e identicamente distribuídas, com e . E [ X i ] = 1 V [ X i ] = 1{Xi}i∈NE[Xi]=1V[Xi]=1

Considere a avaliação de

limn→∞P(1n∑i=1nXi≤n)

Essa expressão deve ser manipulada, pois, como é, ambos os lados do evento de desigualdade tendem ao infinito.

A) TENTE SUBTRACÇÃO

Antes de considerar a instrução limitadora, subtraia n de ambos os lados:

limn→∞P(1n∑i=1nXi−n≤n−n)=limn→∞P(1n∑i=1n(Xi−1)≤0)=Φ(0)=12

a última igualdade do CLT, onde Φ() é a função de distribuição normal padrão.

B) TENTE MULTIPLICAÇÃO

Multiplique ambos os lados por 1/n

limn→∞P(1n⋅1n∑i=1nXi≤1n⋅n)=limn→∞P(1n∑i=1nXi≤1)

=limn→∞P(X¯n≤1)=limn→∞FX¯n(1)=1

onde FX¯n() é a função de distribuição da amostra média X¯n , que pelo LLN converge em probabilidade (e também em distribuição) para a constante 1 , daí a última igualdade.

Então, obtemos resultados conflitantes. Qual é o caminho certo? E por que o outro está errado?


1
@JuhoKokkala Claro, aqui está, math.stackexchange.com/q/2830304/87400 Apenas ignore o erro do OP lá.
— Alecos Papadopoulos

2
Eu acho que o problema está na segunda declaração invocando o LLN
— Glen_b -Reinstate Monica

3
Eu te segui até a igualdade final. Está claramente errado, porque esperamos que se aproxime de para grande e, portanto, seu limite não deve ser igual a Qual é a justificativa pretendida? Não é a afirmação de nenhuma versão de uma lei de grandes números que eu conheço. 1 / 2 n 1.P(X¯n≤1)1/2n1.
— whuber

1
@whuber Supostamente, que toda a probabilidade da média da amostra se concentra no valor . Se isso estiver errado, acredito que é importante que o erro seja detalhado em uma resposta, esse é o objetivo desta pergunta. 1
— Alecos Papadopoulos

2
Alecos, minha preocupação não é se o passo final está errado: diz respeito às suas razões para fazê-lo. Afinal, não é disso que se trata a questão? Ainda não li nada de você sobre essas razões e hesitaria em adivinhar o que elas poderiam ser. Embora você se refira a um "LLN", acredito que a solução do seu problema provavelmente esteja na descrição precisa do que você entende "LLN" a afirmar.
— whuber

Respostas:


15

O erro aqui provavelmente ocorre no seguinte fato: a convergência na distribuição assume implicitamente que converge para nos pontos de continuidade de . Como a distribuição limite é de uma variável aleatória constante, ela tem uma descontinuidade de salto em , portanto, é incorreto concluir que o CDF converge para . F ( x ) M ( X ) x = 1 F ( x ) = 1Fn(x)F(x) F(x)x=1F(x)=1


1
A maneira como definimos convergência na distribuição não exclui a possibilidade de convergência nos pontos de descontinuidade - apenas não exige isso.
— Alecos Papadopoulos

1
Mas se a convergência na distribuição não exige que converja para , em que se baseia a última igualdade na questão? F ( 1 )Fn(1)F(1)
— Juho Kokkala

1
@ Juho Não é baseado em nada - esse é o cerne da questão. Não existe um teorema que permita fazer a última equação na questão.
— whuber

1
@AlecosPapadopoulos: Eu nunca disse que isso não exclui a possibilidade. Estou dizendo implicitamente que você precisa justificar a última igualdade além do que lhe é dado pela convergência na distribuição. Por exemplo, se é Bernoulli, seria verdade. Xn
— Alex R.

11

Para variáveis ​​aleatórias iid com defina Agora, o CLT diz que, para cada número real fixo , . O OP aplica o CLT para avaliar E [ X i ] = var ( X i ) = 1 Z nXiE[Xi]=var⁡(Xi)=1zlimn→∞FZn(z)=Φ(z-1)limn→∞P(Zn≤1

Zn=1n∑i=1nXi,Yn=1n∑i=1nXi.
zlimn→∞FZn(z)=Φ(z−1)
limn→∞P(Zn≤1n)=Φ(0)=12.

Como as outras respostas, bem como vários comentários sobre a pergunta do OP, apontaram, é a avaliação do OP de que é suspeita. Considere o caso especial quando o iid são variáveis ​​aleatórias discretas assumindo os valores e com probabilidade igual . Agora, pode assumir todos os valores inteiros pares em e, quando for ímpar, não pode assumir o valor e, portanto, não pode assumir o valorX i 0 2 1limn→∞P(Yn≤1)Xi02 ∑ n i = 1 Xi[0,2n]n∑ n i = 1 XinYn=112∑i=1nXi[0,2n]n∑i=1nXin1Yn1P(Yn≤1)=FYn(1)1Yn=1n∑i=1nXi 1. Além disso, como a distribuição de é simétrica em torno de , temos que tem valor sempre que é ímpar. Assim, a sequência dos números contém a subsequência nos quais todos os termos têm valor . Por outro lado, a subsequência está convergindo para . Conseqüentemente,Yn1P(Yn≤1)=FYn(1) nP(Y1≤1),P(Y2≤1),…,P(Yn≤1),…P(Y1≤1),P(Y3≤1),…,P(Y2k-1≤1),…112n

P(Y1≤1),P(Y2≤1),…,P(Yn≤1),…
P(Y1≤1),P(Y3≤1),…,P(Y2k−1≤1),…
P(Y2≤1),P(Y4≤1),…,P(Y2k≤1),…1limn→∞P(Yn≤1)P(Yn≤1)12
P(Y2≤1),P(Y4≤1),…,P(Y2k≤1),…
1limn→∞P(Yn≤1) não existe e as reivindicações de convergência de para 1 devem ser vistas com muita suspeita.P(Yn≤1)

8

Seu primeiro resultado é o correto. Seu erro ocorre na segunda parte, na seguinte declaração incorreta:

limn→∞FX¯n(1)=1.

Esta afirmação é falsa (o lado direito deve ser ) e não segue a lei dos grandes números, como afirmado. A lei fraca de grandes números (que você invoca) diz que:12

limn→∞P(|X¯n−1|⩽ε)=1for all ε>0.

Para todo a condição abrange alguns valores em que e alguns valores em que . Portanto, o LLN não segue que .ε>0|X¯n−1|⩽εX¯n⩽1X¯n>1limn→∞P(X¯n⩽1)=1


1
O resultado (errôneo) provém da implicação "convergência em probabilidade implica convergência em distribuição". A questão não afirma que a afirmação vem diretamente do LLN.
— Alecos Papadopoulos

@AlecosPapadopoulos: Convergência em probabilidade faz implica convergência na distribuição. Novamente, a convergência na distribuição é necessária apenas em pontos de continuidade. Mas, talvez você queira dizer que convergência em probabilidade não implica convergência pontual de distribuição.
— Alex R.

@AlexR. Não sei onde está sua objeção. Acredito que esse problema esteja coberto na minha própria resposta.
— Alecos Papadopoulos

3

Convergência em probabilidade implica convergência em distribuição. Mas ... que distribuição? Se a distribuição limitadora tiver uma descontinuidade de salto, os limites se tornarão ambíguos (porque vários valores são possíveis na descontinuidade).

onde é a função de distribuição da amostra média , que pelo LLN converge em probabilidade (e também em distribuição) para a constante ,FX¯n()X¯n1

Isso não está certo, e também é fácil mostrar que não pode estar certo (diferente da discordância entre CLT e LLN). A distribuição limitadora (que pode ser vista como o limite para uma sequência de variáveis ​​distribuídas normais) deve ser:

FX¯∞(x)={0for x<10.5for x=11for x>1

para esta função, você tem que, para qualquer e todo , a diferença para suficientemente grande . Isso falharia se vez deϵ>0x|FX¯n(x)−FX¯∞(x)|<ϵnFX¯∞(1)=1FX¯∞(1)=0.5


Limite de uma distribuição normal

Pode ser útil escrever explicitamente a soma usada para invocar a lei dos grandes números.

X¯n=1n∑i=1nXi∼N(1,1n)

O limite para é realmente equivalente à função Dirac Delta quando é representado como o limite da distribuição normal com a variação indo a zero.n→∞X^n

Usando essa expressão, é mais fácil ver o que está acontecendo sob o capô, em vez de usar as leis prontas do CLT e LLN que obscurecem o raciocínio por trás das leis.


Convergência em probabilidade

A lei dos grandes números fornece 'convergência em probabilidade'

limn→∞P(|X¯n−1|>ϵ)=0

comϵ>0

Uma declaração equivalente poderia ser feita para o teorema do limite central com limn→∞P(|1n∑(Xi−1)|>ϵn)=0

É errado afirmar que isso implica em

limn→∞P(|X¯n−1|>0)=0

É menos agradável que essa pergunta seja postada tão cedo (confusa, mas interessante ver as diferentes discussões / abordagens matemática versus estatísticas, portanto, não tão ruins assim). A resposta de Michael Hardy sobre a troca de pilha matemática lida com ela de maneira muito eficaz em termos da lei forte de grandes números (o mesmo princípio que a resposta aceita de drhab na pergunta cruzada e Dilip aqui). Temos quase certeza de que uma sequência converge para 1, mas isso não significa queX¯1,X¯2,X¯3,...X¯nlimn→∞P(X¯n=1)será igual a 1 (ou talvez nem exista como mostra Dilip). O exemplo de dado nos comentários de Tomasz mostra isso muito bem de um ângulo diferente (em vez de o limite não existir, o limite passa a zero). A média de uma sequência de jogadas de dados irá convergir para a média dos dados, mas a probabilidade de ser igual a isso será zero.


Função passo a passo e função delta Dirac

O CDF de é o seguinte:X¯n

FX¯n(x)=12(1+erfx−12/n)

com, se você , (relacionada à função de passo Heaviside , a integral da função delta Dirac quando vista como o limite de distribuição normal).limn→∞FX¯n(1)=0.5


Acredito que essa visão resolva intuitivamente sua pergunta sobre 'mostrar que está errado' ou, pelo menos, mostra que a pergunta sobre como entender a causa desse desacordo entre CLT e LLN é equivalente à questão de entender a integral da função delta do Dirac ou uma sequência de distribuições normais com variação decrescente para zero.


2
Sua distribuição limitadora não é de fato uma distribuição. Um CDF deve ser contínuo contínuo, enquanto claramente não está em . x=1/2
— Alex R.

A continuidade correta parece ser necessária para que, para cada , tenhamos como eventos está aninhado, devemos ter mas isso é verdade para o nosso caso e onde está o problema? Essa continuidade correta é necessária com base em axiomas de probabilidade ou é apenas uma convenção para que o CDF funcione nos casos mais comuns? alimn→∞FX(a+1n)=FX(a)X≤a+1n
limn→∞FX(a+1n)=limn→∞P(X≤a+1n)=P(limn→∞X≤a+1n)=P(X≤a)=FX(a)
— Sextus Empiricus

@ Martin Weterings: É precisamente de onde vem. Qualquer medida válida deve satisfazer esses resultados de monotonicidade. Eles são uma conseqüência da delimitação de juntamente com a aditividade contável. Mais geralmente, uma função é um CDF (isto é, corresponde a alguma distribuição via se for contínuo à direita, além de monotônico e tendo deixado o limite 0, o limite direito 1.PPF(x)PF(b)−F(a)=P(a<X≤b)F
— Alex R.

2

Acredito que agora deve estar claro que "a abordagem CLT" dá a resposta certa.

Vamos identificar exatamente onde a "abordagem LLN" dá errado.

Começando com as instruções finitas, fica claro que podemos subtrair de ambos os lados de maneira equivalente ou multiplicar ambos os lados por . Nós temosn1/n

P(1n∑i=1nXi≤n)=P(1n∑i=1n(Xi−1)≤0)=P(1n∑i=1nXi≤1)

Portanto, se o limite existir, será idêntico. Definindo , temos, usando funções de distribuiçãoZn=1n∑i=1n(Xi−1)

P(1n∑i=1nXi≤n)=FZn(0)=FX¯n(1)

... e é verdade que .limn→∞FZn(0)=Φ(0)=1/2

O pensamento da "abordagem LLN" é o seguinte: "Sabemos pelo LLN que converge em probabilidade para uma constante. E também sabemos que" convergência em probabilidade implica convergência na distribuição ". Portanto, converge em distribuição para uma constante ". Até aqui estamos corretos. Em seguida, declaramos: "portanto, as probabilidades limitantes para são fornecidas pela função de distribuição da constante em variável aleatória",X¯nX¯n
X¯n1

F1(x)={1x≥10x<1⟹F1(1)=1

... então ...limn→∞FX¯n(1)=F1(1)=1

... e nós cometemos nosso erro . Por quê? Porque, como @AlexR. resposta observada , "convergência na distribuição" abrange apenas os pontos de continuidade da função de distribuição limitadora. E é um ponto de descontinuidade para . Isso significa que pode ser igual a mas pode não ser , sem negar a implicação de "convergência na distribuição para uma constante" do LLN .1F1limn→∞FX¯n(1) F1(1)

E, desde a abordagem CLT, sabemos qual deve ser o valor do limite ( ). Não sei como provar diretamente que .1/2limn→∞FX¯n(1)=1/2

Aprendemos algo novo?

Eu fiz. O LLN afirma que

limn→∞P(|X¯n−1|⩽ε)=1for all ε>0

⟹limn→∞[P(1−ε<X¯n≤1)+P(1<X¯n≤1+ε)]=1

⟹limn→∞[P(X¯n≤1)+P(1<X¯n≤1+ε)]=1

O LLN não diz como é a probabilidade alocada no intervalo . O que aprendi é que, nessa classe de resultados de convergência, a probabilidade está no limite alocado igualmente nos dois lados do ponto central do intervalo de colapso. (1−ε,1+ε)

A declaração geral aqui é, assuma

Xn→pθ,h(n)(Xn−θ)→dD(0,V)

onde é algum rv com a função de distribuição . EntãoDFD

limn→∞P[Xn≤θ]=limn→∞P[h(n)(Xn−θ)≤0]=FD(0)

... que pode não ser igual a (a função de distribuição da constante rv).Fθ(0)

Além disso, este é um exemplo forte de que, quando a função de distribuição da variável aleatória limitadora possui descontinuidades, a "convergência na distribuição para uma variável aleatória" pode descrever uma situação em que "a distribuição limitadora" pode discordar da "distribuição da variável limitante". variável aleatória "nos pontos de descontinuidade. A rigor, a distribuição limitadora dos pontos de continuidade é a da variável aleatória constante. Para os pontos de descontinuidade, podemos calcular a probabilidade limitativa, como entidades "separadas".


A perspectiva da 'lição aprendida' é interessante e este é um bom exemplo, não muito difícil, para aplicação didática. Embora eu me pergunto que tipo de aplicação prática (direta) este pensamento sobre o infinito tem, porque, eventualmente, na prátican≠∞
— Sexto Empírico

@MartijnWeterings Martijn, a motivação aqui foi certamente educacional: a) como um alerta para descontinuidades, mesmo em uma situação "plana" como a convergência para uma constante, e também em geral (elas destroem a convergência uniforme, por exemplo) eb) um resultado sobre como a massa de probabilidade é alocada se torna interessante quando a sequência que converge em probabilidade para uma constante ainda tem uma variação diferente de zero.
— Alecos Papadopoulos

Poderíamos dizer que o CLT digamos algo sobre convergência para uma variável distribuída normal limitante (podendo assim expressar coisas como ), mas o LLN apenas nos permite dizer que, aumentando o tamanho da amostra, nos aproximamos à média verdadeira, mas isso não significa que obtemos, com maior probabilidade, 'exatamente igual à média da amostra'. LLN significa que a média da amostra se aproxima cada vez mais de um valor limite, mas não (com maior probabilidade) igual a ele. O LLN não diz nada sobreF ( x )F(x)F(x)
— Sextus Empiricus 26/06

Os pensamentos originais em torno do LLN eram realmente opostos (consulte o raciocínio de Arbuthnot stats.stackexchange.com/questions/343268 ). "É visível pelo que foi dito que, com um número muito grande de dados, o lote de A se tornaria muito pequeno ... haveria apenas uma pequena parte de todas as possibilidades possíveis, para que aconteçam a qualquer momento atribuível, que um número igual de homens e mulheres deve nascer ".
— Sextus Empiricus
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.