Teorema do limite central versus lei de grandes números

14

O teorema do limite central afirma que a média das variáveis iid, como $N$ vai ao infinito, torna-se normalmente distribuída.

Isso levanta duas questões:

Podemos deduzir disso a lei dos grandes números? Se a lei dos números grandes diz que a média de uma amostra dos valores de uma variável aleatória é igual à média verdadeira $\mu$ conforme $N$ vai ao infinito, parece ainda mais forte dizer que (como o limite central diz) que o valor se torna $\mathcal N(\mu, \sigma)$ onde $\sigma$ é o desvio padrão. É justo dizer que o limite central implica a lei de grandes números?
O teorema do limite central se aplica à combinação linear de variáveis?

probability central-limit-theorem law-of-large-numbers

— user9097
fonte

5

Sua afirmação de que "o teorema do limite central afirma que a média das variáveis iid, como

vai ao infinito, torna-se normalmente distribuída" está incorreta. Veja minha resposta a esta pergunta recente, que levanta questões semelhantes. Outra resposta a essa pergunta foi postada, mas excluída logo em seguida, e a discussão a seguir, também desapareceu, discutiu esses problemas também.

N

$N$

— Dilip Sarwate

1

Por que a média da amostra convergindo para a população significa

um resultado mais fraco do que a média da amostra convergindo para uma amostra a partir de uma distribuição de

?

μ

$\mu$

N (μ, σ)

$\mathcal N(\mu, \sigma)$

— Dilip Sarwate

@DilipSarwate Obrigado pela bandeira, mas seu comentário é IMO o suficiente para revelar conceitos errados na pergunta e respostas razoáveis apareceram.

10

O OP diz

O teorema do limite central afirma que a média das variáveis iid, como N vai ao infinito, torna-se normalmente distribuída.

Vou levar isto para dizer que é convicção da OP que para as variáveis aleatórias iid com média e desvio padrão , a função de distribuição cumulativa de $X_i$ $\mu$ $\sigma$ $F_{Z_n}(a)$ converge para a função de distribuição cumulativa de, uma variável aleatória normal com médiae desvio padrão. Ou, o OP acredita em pequenos arranjos dessa fórmula, por exemplo, a distribuição deconverge para a distribuição deou a distribuição de

Z_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}

$Z_n = \frac{1}{n} \sum_{i=1}^n X_i$

N (μ, σ)

$\mathcal N(\mu,\sigma)$

μ

$\mu$

σ

$\sigma$

Z_{n} - μ

$Z_n - \mu$

N (0, σ)

$\mathcal N(0,\sigma)$

(Z_{n} - μ) / σ

$(Z_n - \mu)/\sigma$ converge para a distribuição de

, a variável aleatória normal padrão. Observe como um exemplo que essas instruções implicam que

N (0, 1)

$\mathcal N(0,1)$

como

P {| Z_{n} - μ | > σ} = 1 - F_{Z_{n}} (μ + σ) + F_{Z_{n}} ((μ + σ)^{-}) \to 1 - Φ (1) + Φ (- 1) \approx 0.32

$P\{|Z_n - \mu| > \sigma\} = 1 - F_{Z_n}(\mu + \sigma) + F_{Z_n}((\mu + \sigma)^-) \to 1-\Phi(1)+\Phi(-1) \approx 0.32$

n \to \infty

$n \to \infty$ .

O OP continua dizendo

Isso levanta duas questões:

Podemos deduzir disso a lei dos grandes números? Se a lei dos números grandes diz que a média de uma amostra dos valores de uma variável aleatória é igual à média verdadeira μ quando N vai para o infinito, parece ainda mais forte dizer que (como o limite central diz) que o valor se torna N ( μ, σ) onde σ é o desvio padrão.

$X_i$ $\mu$ $\epsilon > 0$

P {| Z_{n} - μ | > ϵ} \to 0 as n \to \infty .

$P\{|Z_n - \mu| > \epsilon\} \to 0 ~~ \text{as}~ n \to \infty.$ Observe que não é necessário assumir que o desvio padrão é finito.

Então, para responder à pergunta do OP,

$n \to \infty$ $P\{|Z_n-\mu| > \sigma\} \to 0.317\cdots$ $P\{|Z_n-\mu| > \sigma\} \to 0$
A partir de uma afirmação correta do teorema do limite central, pode-se deduzir, na melhor das hipóteses, apenas uma forma restrita da lei fraca de grandes números aplicada a variáveis aleatórias com média finita e desvio padrão. Mas a lei fraca de grandes números também vale para variáveis aleatórias, como variáveis aleatórias de Pareto, com médias finitas, mas desvio padrão infinito.
Não entendo por que dizer que a média da amostra converge para uma variável aleatória normal com desvio padrão diferente de zero é uma afirmação mais forte do que dizer que a média da amostra converge para a média da população, que é uma constante (ou uma variável aleatória com desvio padrão zero se você gosta).

— Dilip Sarwate
fonte

Eu me pergunto o que a pessoa que rebaixou minha resposta achou censurável ou incorreta no que eu disse.

— usar o seguinte

7

$\bar X_n$ $n$ $\bar X_n$ $\bar X_{n+1}$ digamos. Portanto, não, a convergência na distribuição não implica a lei de grandes números, a menos que você tenha um espaço de probabilidade comum para todas as variáveis.

— StasK
fonte

(+1) O que você diz é verdade, e um ponto muito importante. A matriz triangular permite que as variáveis em cada "linha" residam em espaços de probabilidade diferentes das linhas anteriores. Por outro lado, se dissermos a priori que estamos considerando uma sequência de variáveis aleatórias iid, elas implicitamente devem existir em um espaço subjacente comum para que a noção de independência faça muito sentido.

— cardeal

@ cardinal: então, se eu entendi corretamente, no caso "simples", onde todos são definidos no mesmo espaço, é o caso que a centralidade implica a lei de grandes números? ou não?

— User9097

@ user9097 Como agora estamos entrando em domínios de detalhes finos, sobre qual lei de grandes números está sendo questionada? A lei fraca ou a lei forte?

— Dilip Sarwate

Esse ponto é verdade apenas para a forte lei dos grandes números , e não para a lei fraca

— b Kjetil Halvorsen

4

Primeiro, embora existam muitas definições, uma das formas padrão do teorema do limite central diz que $\sqrt{n}(\bar{X}_n-EX)$ $\mathcal N(0, Var(X))$ $\bar{X}$ $n$ $X$ .

Em segundo lugar, suponha que temos duas variáveis aleatórias independentes $X$ e $Y$ . Então

\sqrt{n} (\frac{1}{n} \sum_{j = 1}^{n} (uma X_{j} + Y_{j}) - E (uma X + Y)) \to N (0 0, V uma r (uma X + Y))

$\sqrt{n}(\frac{1}{n}\sum_{j=1}^n(aX_j+Y_j) - E(aX+Y)) \to \mathcal N(0, Var(aX+Y))$ ou

\sqrt{n} uma ({\bar{X}}_{n} - E X) + \sqrt{n} ({\bar{Y}}_{n} - E Y) \to N (0 0, {uma}^{2} V uma r (X) + V uma r (Y)) .

$\sqrt{n}a(\bar{X}_n- EX)+\sqrt{n}(\bar{Y}_n -EY) \to \mathcal N(0, a^2Var(X)+Var(Y)).$

Em outras palavras, uma combinação linear de variáveis aleatórias não converge para uma combinação linear de normais no CLT, apenas uma normal. Isso faz sentido porque uma combinação linear de variáveis aleatórias é apenas uma variável aleatória diferente na qual o CLT pode ser aplicado diretamente.

— Daniel Johnson
fonte

1

This is a good start to an answer. Here are some comments: A linear combination of (joint) normals is normal, soo, I'm not sure what your comment in that regard was intended to mean. At any rate, I suspect the OP was not thinking about linear combinations of the form you consider. Observing that

{\bar{X}}_{n} = \sum_{i = 1}^{n} w_{n i} X_{i}

$\bar X_n = \sum_{i=1}^n w_{ni} X_i$ where

w_{n i} = 1 / n

$w_{ni} = 1/n$ for each

i = 1, \dots, n

$i = 1,\ldots,n$ , a natural question one might ask is what happens when we replace these "uniform" weights with some other (more arbitrary) ones. When do we still get a CLT? Lindeberg's CLT can be used to get at this question.

— cardinal

I think with strict conditions my result will still say something about

\sum_{j = 1}^{n} w_{n j} X_{j}

$\sum^n_{j=1}w_{nj}X_j$ . Lets first define these conditions and then consider how to weaken them. Lets take

w_{n j} = w_{j} / n

$w_{nj} = w_{j}/n$ and

w_{j}

$w_j$ to be a single, infinite sequence of non-negative reals. If the number of distinct

w_{j}

$w_{j}$ is finite and each appears infinitely often in the sequence, my result should hold as each

w_{j} X

$w_jX$ defines a random variable and this fits into the 'linear combination' framework I gave above. Then a good question would be if we could allow the number of distinct

w

$w$ scale with

n

$n$ .

— Daniel Johnson

1

This is a good comment, and a nice idea, however I believe it would need some modification to work. Assume wlog that

E X = 0

$\mathbb E X = 0$ . Construct your

w_{j}

$w_j$ as follows. Let

w_{1} = 1

$w_1 = 1$ ,

w_{2} = 0

$w_2 = 0$ . Now, define

w_{j}

$w_j$ inductively as follows: Set

w_{j} = 0

$w_j = 0$ until

\sum_{i = 1}^{j} w_{i} / j \leq 1 / 4

$\sum_{i=1}^j w_i /j \leq 1/4$ . Then append ones until

\sum_{i = 1}^{j} w_{i} / j \geq 1 / 2

$\sum_{i=1}^j w_i /j \geq 1/2$ . Append zeros again, then ones. Repeat ad infinitum. Now,

0

$0$ and

1

$1$ both occur an infinite number of times, but the variance of the rescaled mean oscillates between

1 / 2

$1/2$ and

1 / 4

$1/4$ (roughly). So, your stated sequence cannot converge in distribution.

— cardinal

(Note: There is nothing special about the choice of

0

$0$ and

1

$1$ , here. Also, strictly speaking the procedure you describe in the comment does not really fit within the linear-combination framework of your answer.)

— cardinal