Existem exemplos de onde o teorema do limite central não se sustenta?

A Wikipedia diz -

Na teoria da probabilidade, o teorema do limite central (CLT) estabelece que, na maioria das situações , quando variáveis ​​aleatórias independentes são adicionadas, sua soma adequadamente normalizada tende a uma distribuição normal (informalmente uma "curva de sino"), mesmo que as próprias variáveis ​​originais não sejam distribuído normalmente...

Quando diz "na maioria das situações", em quais situações o teorema do limite central não funciona?

Para entender isso, você precisa primeiro declarar uma versão do Teorema do Limite Central. Aqui está a declaração "típica" do teorema do limite central:

Lindeberg – Lévy CLT. Suponha que seja uma sequência de variáveis ​​aleatórias iid com e . Deixe . Então, quando aproxima do infinito, as variáveis ​​aleatórias convergem na distribuição para um normal isto é,${X_1, X_2, \dots}$$E[X_i] = \mu$$Var[X_i] = \sigma^2 < \infty$$S_{n}:={\frac {X_{1}+\cdots +X_{n}}{n}}$$n$$\sqrt{n}(S_n − \mu)$$N(0,\sigma^2)$

$${\displaystyle {\sqrt {n}}\left(\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)-\mu \right)\ {\xrightarrow {d}}\ N\left(0,\sigma ^{2}\right).}$$

Então, como isso difere da descrição informal e quais são as lacunas? Existem várias diferenças entre sua descrição informal e essa descrição, algumas das quais foram discutidas em outras respostas, mas não completamente. Portanto, podemos transformar isso em três perguntas específicas:

• O que acontece se as variáveis ​​não forem identicamente distribuídas?
• E se as variáveis ​​tiverem variação infinita ou média infinita?
• Quão importante é a independência?

Tomando estes de cada vez,

Não distribuídos de forma idêntica . Os melhores resultados gerais são as versões de Lindeberg e Lyaponov do teorema do limite central. Basicamente, desde que os desvios padrão não cresçam muito, você pode obter um teorema do limite central decente.

Lyapunov CLT. [5] Suponha que seja uma sequência de variáveis ​​aleatórias independentes, cada uma com valor esperado finito e variação Defina:${X_1, X_2, \dots}$$\mu_i$$\sigma^2$$s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$

Se, para alguns , a condição de Lyapunov está satisfeito, então uma soma de converge na distribuição para uma variável aleatória normal padrão, como n vai para o infinito:$\delta > 0$${\displaystyle \lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum_{i=1}^{n}\operatorname {E} \left[|X_{i}-\mu _{i}|^{2+\delta }\right]=0}$$X_i − \mu_i / s_n$

${{\frac {1}{s_{n}}}\sum _{i=1}^{n}\left(X_{i}-\mu_{i}\right)\ {\xrightarrow {d}}\ N(0,1).}$

Variação infinita Teoremas semelhantes ao teorema do limite central existem para variáveis ​​com variação infinita, mas as condições são significativamente mais estreitas do que para o teorema do limite central usual. Essencialmente, a cauda da distribuição de probabilidade deve ser assintótica para para . Nesse caso, summands dimensionados apropriados convergem para uma distribuição estável Levy-Alpha .$|x|^{-\alpha-1}$$0 < \alpha < 2$

Importância da independência Existem muitos teoremas de limite central diferentes para seqüências não independentes de . Todos eles são altamente contextuais. Como Batman aponta, há um para Martingales. Esta questão é uma área de pesquisa em andamento, com muitas, diferentes variações, dependendo do contexto específico de interesse. Esta pergunta sobre troca de matemática é outro post relacionado a essa pergunta.$X_i$

Embora eu tenha certeza de que já foi respondido antes, aqui está outro:

Existem várias versões do teorema do limite central, sendo a mais geral dada a função de densidade de probabilidade arbitrária, a soma das variáveis ​​será distribuída normalmente com um valor médio igual à soma dos valores médios, e a variação sendo a soma das variações individuais.

Uma restrição muito importante e relevante é que a média e a variação dos pdfs fornecidos devem existir e devem ser finitas.

Portanto, basta pegar qualquer pdf sem valor médio ou variação - e o teorema do limite central não será mais válido. Então, pegue uma distribuição lorentziana, por exemplo.

Não, a CLT sempre se mantém quando suas premissas se mantêm. Qualificações como "na maioria das situações" são referências informais às condições sob as quais a CLT deve ser aplicada.

Por exemplo, uma combinação linear de variáveis ​​independentes da distribuição Cauchy não adicionará a variável distribuída Normal . Uma das razões é que a variação não é definida para a distribuição de Cauchy , enquanto o CLT impõe certas condições à variação, por exemplo, que deve ser finito. Uma implicação interessante é que, como as simulações de Monte Carlo são motivadas pelo CLT, você deve ter cuidado com as simulações de Monte Carlo ao lidar com distribuições de cauda gorda, como Cauchy.

Observe que há uma versão generalizada do CLT. Funciona para variações infinitas ou indefinidas, como a distribuição de Cauchy. Ao contrário de muitas distribuições bem comportadas, a soma normalizada dos números de Cauchy permanece Cauchy. Não converge para gaussiano.

A propósito, não apenas as gaussianas, mas muitas outras distribuições possuem PDFs em forma de sino, por exemplo, Student t. É por isso que a descrição que você citou é bastante liberal e imprecisa, talvez de propósito.

Aqui está uma ilustração da resposta do querubim, um histograma de 1e5 é extraído de meios de amostra em escala (por ) de distribuições t com dois graus de liberdade, de modo que a variação não exista .$\sqrt{n}$

Se a CLT se aplicou, o histograma para tão grande quanto deve se parecer com a densidade de uma distribuição normal padrão (que, por exemplo, tem densidade no seu pico), o que evidentemente não.$n$$n=1000$$1/\sqrt{2\pi}\approx0.4$

library(MASS)
n <- 1000
samples.from.t <- replicate(1e5, sqrt(n)*mean(rt(n, df = 2)))
truehist(samples.from.t, xlim = c(-10,10), col="salmon")

Um caso simples em que o CLT não pode ser mantido por razões muito práticas é quando a sequência de variáveis ​​aleatórias se aproxima do limite de probabilidade estritamente de um lado . Isso é encontrado, por exemplo, em estimadores que estimam algo que se encontra em um limite.

O exemplo padrão aqui talvez seja a estimativa de em uma amostra de iid Uniforms . O estimador de máxima verossimilhança será a estatística de ordem máxima e se aproximará necessariamente apenas a partir de baixo: pensando ingenuamente, uma vez que seu limite de probabilidade será , o estimador não pode ter uma distribuição "ao redor" - e o CLT é se foi.$\theta$$U(0,\theta)$$\theta$$\theta$$\theta$

O estimador adequadamente dimensionado tem uma distribuição limitadora - mas não da "variedade CLT".

Você pode encontrar uma solução rápida aqui.

Surgem exceções ao teorema do limite central

1. Quando houver vários máximos da mesma altura e
2. Onde a segunda derivada desaparece no máximo.

Existem outras exceções descritas na resposta do @cherub.

A mesma pergunta já foi feita em math.stackexchange . Você pode verificar as respostas lá.