De onde vem o no teorema do limite central (CLT)?

36

Uma versão muito simples do teorema limitado central, como abaixo que é o CLT de Lindeberg – Lévy. Não entendo por que existe um no lado esquerdo. E o Lyapunov CLT diz mas por que não ? Alguém me diria quais são esses fatores, como e ? como os colocamos no teorema?

n - - \sqrt ((1 n \sum i = 1 n X i) - μ) \to d N (0, σ 2)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

n−−√ $\sqrt{n}$

1 s n \sum i = 1 n (X i - μ i) \to d N (0, 1)

$\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

sn−−√ $\sqrt{s_n}$

n−−√ $\sqrt{n}$

1sn $\frac{1}{s_n}$

central-limit-theorem intuition

— Porco voador
fonte

3

Isso é explicado em stats.stackexchange.com/questions/3734 . Essa resposta é longa, porque pede "intuição". Conclui: "Essa aproximação simples, no entanto, sugere como de Moivre originalmente poderia suspeitar que existe uma distribuição limitadora universal, que seu logaritmo é uma função quadrática e que o fator de escala adequado

sn $s_n$ deve ser proporcional a

n−−√ $\sqrt{n}$ ... "

— whuber

1

Intuitivamente, se tudo

σi=σ $\sigma_i=\sigma$ então

sn=∑σ2i−−−−−√=n−−√σ $s_n = \sqrt{\sum\sigma_i^2}=\sqrt{n}\sigma$ e a segunda linha segue a partir da 1ª linha:

n - - \sqrt ((1 n \sum i = 1 n X i) - μ) = 1 n - - \sqrt \sum i = 1 n (X i - μ) \to d N (0, σ 2)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg)-\mu\bigg)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)\xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$ divida por

σ=snn√ $\sigma = \frac{s_n}{\sqrt{n}}$

1 n \sqrt \sum n i = 1 ( X i - μ ) s n n \sqrt = 1 s n \sum i = 1 n (X i - μ i) \to d N (0, 1)

$\frac{\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)}{\frac{s_n}{\sqrt{n}}}=\frac{1}{s_n}\sum_{i=1}^{n}(X_i-\mu_i)\xrightarrow{d}\ \mathcal{N}(0,\;1)$ (claro que a condição de Lyapunov, combinação all $\sigma_i$ , é outra questão) #

— Sextus Empiricus

33

Boa pergunta (+1) !!

Você lembrará que, para variáveis aleatórias independentes e , e . Portanto, a variação de é , e a variação de é . $X$ $Y$ $Var(X+Y) = Var(X) + Var(Y)$ $Var(a\cdot X) = a^2 \cdot Var(X)$ $\sum_{i=1}^n X_i$ $\sum_{i=1}^n \sigma^2 = n\sigma^2$ $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ $n\sigma^2 / n^2 = \sigma^2/n$

Isto é para a variação . Para padronizar uma variável aleatória, você a divide por seu desvio padrão. Como você sabe, o valor esperado de é , então a variável $\bar{X}$ $\mu$

X ¯ - E ( X ¯ ) V a r ( X ¯ ) - - - - - - \sqrt = n - - \sqrt X ¯ - μ σ

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma}$ tem o valor esperado 0 e variância 1. Portanto, se ele tende a um gaussiano, deve ser o gaussiano padrão . Sua formulação na primeira equação é equivalente. Ao multiplicar o lado esquerdo por você define a variação para .

N(0,1) $\mathcal{N}(0,\;1)$

σ $\sigma$

σ2 $\sigma^2$

Com relação ao seu segundo ponto, acredito que a equação mostrada acima ilustra que você precisa dividir por e não para padronizar a equação, explicando por que você usa (o estimador de e não . $\sigma$ $\sqrt{\sigma}$ $s_n$ $\sigma)$ $\sqrt{s_n}$

Adição: @whuber sugere discutir o porquê da escala . Ele faz isso lá , mas como a resposta é muito longa, tentarei capturar a essência de seu argumento (que é uma reconstrução dos pensamentos de De Moivre). $\sqrt{n}$

Se você adicionar um grande número de + 1 e -1, poderá aproximar a probabilidade de que a soma seja por contagem elementar. O log desta probabilidade é proporcional a . Portanto, se quisermos que a probabilidade acima converja para uma constante à medida que aumenta, precisamos usar um fator de normalização em . $n$ $j$ $-j^2/n$ $n$ $O(\sqrt{n})$

Usando ferramentas matemáticas modernas (post de Moivre), você pode ver a aproximação mencionada acima observando que a probabilidade procurada é

P (j) = ( n n / 2 + j ) 2 n = n ! 2 n ( n / 2 + j ) ! ( n / 2 - j ) !

$P(j) = \frac{{n \choose n/2+j}}{2^n} = \frac{n!}{2^n(n/2+j)!(n/2-j)!}$

que aproximamos pela fórmula de Stirling

P (j) \approx n n e n / 2 + j e n / 2 - j 2 n e n ( n / 2 + j ) n / 2 + j ( n / 2 - j ) n / 2 - j = (1 1 + 2 j / n) n + j (1 1 - 2 j / n) n - j .

$P(j) \approx \frac{n^n e^{n/2+j} e^{n/2-j}}{2^n e^n (n/2+j)^{n/2+j} (n/2-j)^{n/2-j} } = \left(\frac{1}{1+2j/n}\right)^{n+j} \left(\frac{1}{1-2j/n}\right)^{n-j}.$

log (P (j)) = - (n + j) log (1 + 2 j / n) - (n - j) log (1 - 2 j / n) \sim - 2 j (n + j) / n + 2 j (n - j) / n \propto - j 2 / n .

$\log(P(j)) = -(n+j) \log(1+2j/n) - (n-j) \log(1-2j/n) \\ \sim -2j(n+j)/n + 2j(n-j)/n \propto -j^2/n.$

— gui11aume
fonte

Por favor, veja meus comentários para respostas anteriores de Michael C. e cara.

— whuber

Parece que a primeira equação (LL CLT) s / b ? Isso também me confundiu que apareceu como a variação.

n−−√((1n∑ni=1Xi)−μ) →d N(0,1) $\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ2 $\sigma^2$

— B_Miner

Se você parametrizar o gaussiano com média e variância (não desvio padrão), acredito que a fórmula do OP está correta.

— precisa saber é o seguinte

1

Ahh..Dado que se multiplicarmos por , obtemos o que foi mostrado pelo OP ( cancel): a saber . Mas sabemos que VAR (aX) = a ^ 2Var (X) onde, neste caso, a = e Var (X) é 1, portanto a distribuição é .

X¯−E(X¯)Var(X¯)√=n−−√X¯−μσ→d N(0,1) $\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma} \xrightarrow{d}\ \mathcal{N}(0,\;1)$

X¯−E(X¯)Var(X¯)√ $\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }}$

σ $\sigma$

n−−√((1n∑ni=1Xi)−μ) $\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)$

σ2 $\sigma^2$

N(0,σ2) $\mathcal{N}(0,\;\sigma^2)$

— B_Miner

Gui, se não fosse tarde demais, queria ter certeza de que isso estava correto. Se assumirmos que e multiplicamos por uma constante ( ), o valor esperado dessa quantidade (por exemplo, ), que era zero ainda é zero como E [aX] = a * E [X] => * 0 = 0. Isso está correto?

X¯−E(X¯)Var(X¯)√=n−−√(X¯−μ)→d N(0,1) $\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} ({\bar{X} - \mu}) \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ $\sigma$

n−−√(X¯−μ) $\sqrt{n} ({\bar{X} - \mu})$

σ $\sigma$

— B_Miner

8

Existe uma boa teoria de que tipo de distribuições pode estar limitando as distribuições de somas de variáveis aleatórias. O recurso interessante é o seguinte livro de Petrov, do qual eu pessoalmente gostei imensamente.

Acontece que, se você está investigando limites desse tipo que são variáveis aleatórias independentes, as distribuições de limites são apenas certas distribuições.

1 a n \sum i = 1 n X n - b n, (1)

$\frac{1}{a_n}\sum_{i=1}^nX_n-b_n, \quad (1)$

Xi $X_i$

Há muita matemática por aí, o que se resume a vários teoremas que caracterizam completamente o que acontece no limite. Um desses teoremas é devido a Feller:

Teorema Seja uma sequência de variáveis aleatórias independentes, seja a função de distribuição de e seja uma sequência de constante positiva. Para que $\{X_n;n=1,2,...\}$ $V_n(x)$ $X_n$ $a_n$

max 1 \leq k \leq n P (| X k | \geq ε a n) \to 0, for every fixed ε > 0

$\max_{1\le k\le n}P(|X_k|\ge\varepsilon a_n)\to 0, \text{ for every fixed } \varepsilon>0$

e

sup x ∣ ∣ ∣ ∣ P (a - 1 n \sum k = 1 n X k < x) - Φ (x) ∣ ∣ ∣ ∣ \to 0

$\sup_x\left|P\left(a_n^{-1}\sum_{k=1}^nX_k<x\right)-\Phi(x)\right|\to 0$

é necessário e suficiente que

\sum k = 1 n \int | x | \geq ε a n d V k (x) \to 0 for every fixed ε > 0,

$\sum_{k=1}^n\int_{|x|\ge \varepsilon a_n}dV_k(x)\to 0 \text{ for every fixed }\varepsilon>0,$

a - 2 n \sum k = 1 n (\int | x | < a n x 2 d V k (x) - (\int | x | < a n x d V k (x)) 2) \to 1

$a_n^{-2}\sum_{k=1}^n\left(\int_{|x|<a_n}x^2dV_k(x)-\left(\int_{|x|<a_n}xdV_k(x)\right)^2\right)\to 1$

e

a - 1 n \sum k = 1 n \int | x | < a n x d V k (x) \to 0.

$a_n^{-1}\sum_{k=1}^n\int_{|x|<a_n}xdV_k(x)\to 0.$

Esse teorema dá uma idéia de como deve ser um . $a_n$

A teoria geral do livro é construída de tal maneira que a constante normativa é restrita de qualquer forma, mas os teoremas finais que dão condições necessárias e suficientes não deixam espaço para constante normativa além de . $\sqrt{n}$

— mpiktas
fonte

4

s representa o desvio padrão da amostra para a média da amostra. s é a variação da amostra para a média da amostra e é igual a S / n. Onde S é a estimativa amostral da variação populacional. Como s = S / √n explica como √n aparece na primeira fórmula. Observe que haveria um σ no denominador se o limite fosse $_n$ $_n$ $^2$ $_n$ $^2$ $_n$ $^2$ $_n$ $_n$

N (0,1), mas o limite é dado como N (0, σ ). Como S é uma estimativa consistente de σ, ela é usada na segunda equação para tirar σ fora do limite. $^2$ $_n$

— Michael R. Chernick
fonte

E sobre a parte outro (mais básico e importante) da pergunta: por que

e não alguma outra medida de dispersão? sn $s_n$

— whuber

@whuber Isso pode estar em discussão, mas não fazia parte da questão. O OP só queria saber por que s

e √n aparecem na fórmula do CLT. É claro que S

existe porque é consistente para σ e nessa forma do CLT σ é removido.

n $_n$

— Michael R. Chernick 19/09/12

1

Para mim, não está claro que

esteja presente porque é "consistente para

". Por que isso também não implica, digamos, que

deve ser usado para normalizar estatísticas de valores extremos (o que não funcionaria)? Estou perdendo algo simples e auto-evidente? E, para ecoar o OP, por que não usar

sn $s_n$

σ $\sigma$

sn $s_n$

depois de tudo, isso é consistente para

sn−−√ $\sqrt{s_n}$

! σ−−√ $\sqrt{\sigma}$

— whuber

O teorema, como afirmado, tem convergência para N (0,1), de modo que você precisa conhecer σ e usá-lo ou usar uma estimativa consistente dele que funcione pelo teorema de Slutsky, eu acho. Eu não estava tão claro?

— Michael R. Chernick 19/09/12

Eu não acho que você não estava claro; Eu só acho que um ponto importante pode estar faltando. Afinal, para muitas distribuições, podemos obter uma distribuição normal limitadora usando o IQR em vez de

mas o resultado não é tão claro (o SD da distribuição limitadora depende da distribuição com a qual começamos). Estou apenas sugerindo que isso merece ser destacado e explicado. Não será tão óbvio para alguém que não tem a intuição desenvolvida pelos 40 anos de padronizar todas as distribuições que encontrar! sn $s_n$

— whuber

2

Intuitivamente, se para alguns devemos esperar que é aproximadamente igual a ; parece uma expectativa bastante razoável, embora eu não ache necessário em geral. A razão para o $Z_n \to \mathcal N(0, \sigma^2)$ $\sigma^2$ $\mbox{Var}(Z_n)$ $\sigma^2$ na primeira expressão é que a variação devai paracomo $\sqrt n$ $\bar X_n - \mu$ $0$ então o $\frac 1 n$ está inflando a variação, de modo que a expressão apenas tenha variação igual a. Na segunda expressão, o termoé definido como $\sqrt n$ $\sigma^2$ $s_n$ enquanto que a variância do numerador cresce como, de modo que temos novamente que a variância de toda a expressão é uma constante (neste caso). $\sqrt{\sum_{i = 1} ^ n \mbox{Var}(X_i)}$ $\sum_{i = 1} ^ n \mbox{Var}(X_i)$ $1$

Essencialmente, sabemos que algo "interessante" está acontecendo com a distribuição de , mas se não o centralizarmos e dimensionarmos adequadamente, não conseguiremos vê-lo. Já ouvi isso descrito algumas vezes como necessidade de ajustar o microscópio. Se não explodirmos (por exemplo)por $\bar X_n := \frac 1 n \sum_i X_i$ $\bar X - \mu$ então apenas temosna distribuição pela lei fraca; um resultado interessante por si só, mas não tão informativo quanto o CLT. Se inflarmos por qualquer fatorque é dominado por $\sqrt n$ $\bar X_n - \mu \to 0$ $a_n$ , ainda obtemosenquanto qualquer fatorque domina $\sqrt n$ $a_n(\bar X_n - \mu) \to 0$ $a_n$ dá. Acontece que $\sqrt n$ $a_n(\bar X_n - \mu) \to \infty$ é apenas a ampliação correta para poder ver o que está acontecendo neste caso (nota: toda convergência aqui está em distribuição; há outro nível de ampliação que é interessante para uma convergência quase certa, que dá origem à lei da iteração logaritmo). $\sqrt n$

— cara
fonte

4

Uma questão mais fundamental, que deve ser abordada primeiro, é por que o SD é usado para medir a dispersão. Por que não o

momento absoluto central para algum outro valor de

? Ou por que não o IQR ou algum de seus parentes? Uma vez que isso é respondido, propriedades simples de covariância dão imediatamente

kth $k^\text{th}$

k $k$

dependência (como @ Gui11aume explicou recentemente.)n−−√ $\sqrt{n}$

— whuber

1

@whuber Eu concordo, e é por isso que apresentei isso como heurístico. Não tenho certeza de que seja passível de uma explicação simples, embora eu adorasse ouvir uma. Para mim, não tenho certeza se tenho um motivo mais simples e explicável "porque o termo quadrado é o termo relevante na expansão de Taylor da função característica depois de subtrair a média".

— cara