Qual é o resultado mais poderoso do máximo de gaussianos? O mais usado na prática?

Dado iid, considere as variáveis ​​aleatórias$X_1, \ldots, X_n, \ldots \sim \mathscr{N}(0,1)$

$$Z_n := \max_{1 \le i \le n} X_i\,.$$

Pergunta: Qual é o resultado mais "importante" sobre essas variáveis ​​aleatórias?

Para esclarecer a "importância", qual resultado tem mais outros resultados como conseqüência lógica? Qual dos resultados é usado com mais frequência na prática?

Mais especificamente, parece haver conhecimento folclórico entre estatísticos (teóricos) de que o $Z_n$ é "basicamente o mesmo que" $\sqrt{2 \log n}$ , pelo menos assintoticamente. (Veja esta pergunta relacionada .)

No entanto, existem muitos resultados relacionados a esse tipo, e parece ser o caso que a maioria não é equivalente nem implica um ao outro. Por exemplo $^*$ ,

$$\frac{Z_n}{\sqrt{2 \log n}} \overset{a.s.}{\to} 1 \,, \tag{1}$$

que, se nada mais, também implica os resultados correspondentes em probabilidade e distribuição.

No entanto, nem sequer implica resultados aparentemente relacionados (veja essa outra pergunta ), como

$$\lim_{n \to \infty} \frac{\mathbb{E}Z_n}{\sqrt{2 \log n}} =1 \,, \tag{2}$$

(este é o exercício 2.17 da página 49 da ) ou outro resultado do folclore :$\dagger$

$$\mathbb{E}Z_n = \sqrt{2 \log n} + \Theta(1) \,. \tag{3}$$

Não assintoticamente, também se sabe que para cada (veja aqui uma prova),$n$

$$\sqrt{c \log n} \le \mathbb{E}Z_n \le \sqrt{2 \log n} \tag{4}$$

para alguns pequenos . Resultados semelhantes também podem ser mostrados para, já que é altamente inclinado à direita.$c$$|Z_n|$$Z_n$

A prova deste último resultado é muito mais direta do que as provas dos outros resultados. Minha esperança era que o primeiro resultado assintótico tivesse implicado todos os outros assintóticos, para que eu pudesse me sentir confiante, concentrando todo meu tempo e energia na compreensão desse resultado. Mas, novamente, isso aparentemente não é verdade , então agora não está claro para mim o que devo focar.

$^*$ Ver pp. 265-267 da segunda edição de Galambos, The The Asymptotic Theory of Extreme Order Statistics , impressa em 1987. Provavelmente também está em algum lugar da primeira edição.

$\dagger$ Boucheron, Lugosi, Massart, Desigualdades de Concentração: Uma Teoria Não Independente da Independência . Além: Este livro realmente cita Galambos para o resultado em questão, mas não consigo encontrá-lo mencionado em nenhum lugar de Galambos - apenas o primeiro resultado que mencionei.

Em qualquer aplicação probabilística, o objeto mais fundamental é a distribuição, com os momentos e as propriedades limitantes sendo derivados disso. Portanto, o resultado mais "importante", no sentido que você descreveu, é a função de distribuição completa (equivalentemente, a função de densidade correspondente). Na prática, esse resultado distributivo é talvez menos esclarecedor do que algumas das propriedades assintóticas mais básicas que você já listou. Embora isso implique logicamente esses resultados assintóticos, na minha opinião, é provável que esses resultados sejam mais esclarecedores na compreensão da natureza mutável do valor extremo à medida que mudamos .$F_{Z_n}(z) = \Phi^n(z)$$n$

Está claro em sua pergunta que você tem um bom entendimento das propriedades de valor extremo no caso de um máximo de variáveis ​​aleatórias normais padrão do IID. Essas propriedades são todas derivadas logicamente da função de distribuição para , portanto esse é o objeto mais fundamental em funcionamento nesse problema. Como em muitos casos, o objeto mais fundamental não é necessariamente o mais esclarecedor e, portanto, você provavelmente descobrirá que precisa se contentar em conhecer todos os resultados e sabendo que eles iluminam diferentes aspectos do problema.$Z_n$

WIP: trabalho em andamento

Seguindo p. 370 dos Métodos Matemáticos de Estatística de Cramer, em 1946 , definemAqui é a função de distribuição cumulativa da distribuição normal padrão, . Como conseqüência de sua definição, garantimos que quase certamente.

$$\Xi_n = n(1 - \Phi(Z_n)) \,.$$ $\Phi$$\mathscr{N}(0,1)$$0\le \Xi_n \le n$

Considere uma realização dada do nosso espaço de amostra. Nesse sentido, é uma função de e e uma função de e . Para um fixo , podemos considerar uma função determinista do , e uma função determinista do e , simplificando assim o problema. Nosso objetivo é mostrar resultados que são válidos para quase todos os$\omega \in \Omega$$Z_n$$n$$\omega$$\Xi_n$$Z_n, n$$\omega$$\omega$$Z_n$$n$$\Xi_n$$Z_n$$n$$\omega \in \Omega$, permitindo transferir nossos resultados de uma análise não determinística para a configuração não determinística.

Seguindo p. 374 dos Métodos Matemáticos de Estatística de Cramer, de 1946 , pressupõem por enquanto (pretendo voltar e fornecer uma prova posteriormente) que somos capazes de mostrar que (para qualquer ) a seguinte expansão assintótica é válida integração por partes e a definição de ):$\omega \in \Omega$$\Phi$

$$\frac{\sqrt{2\pi}}{n}\Xi_n = \frac{1}{Z_n}e^{-\frac{Z_n^2}{2}}\left( 1 + O \left( \frac{1}{Z_n^2} \right) \right) \quad ~~ as ~~ Z_n \to \infty \,. \tag{~}$$

Claramente, temos que para qualquer e é quase certamente uma função crescente de como ; portanto, reivindicamos no que segue ao longo disso para (quase certamente todos) fixo :$Z_{n+1} \ge Z_n$$n$$Z_n$$n$$n\to \infty$$\omega$

$$Z_n \to \infty \quad \iff \quad n \to \infty \,.$$

Portanto, temos que (onde denota equivalência assintótica ):$\sim$

$$\frac{\sqrt{2\pi}}{n} \Xi_n \sim \frac{1}{Z_n} e^{-\frac{1}{Z_n^2}} \quad ~~ as ~~ Z_n \to \infty \quad n \to \infty \,.$$

O modo como procedemos no que se segue equivale essencialmente ao método do equilíbrio dominante , e nossas manipulações serão formalmente justificadas pelo seguinte lema:

Lema: Assume-se que como , e (assim, ). Então, dada qualquer função que é formada por composições, adições e multiplicações de logaritmos e leis de potência (essencialmente qualquer função " polylog "), devemos ter também que como :Em outras palavras, essas funções "polilog" preservam a equivalência assintótica .$f(n) \sim g(n)$$n \to \infty$$f(n) \to \infty$$g(n) \to \infty$$h$$n \to \infty$

$$h(f(n)) \sim h(g(n)) \,.$$

A verdade deste lema é uma consequência do Teorema 2.1. como está escrito aqui . Observe também que o que se segue é principalmente uma versão expandida (mais detalhes) da resposta a uma pergunta semelhante encontrada aqui .

Tomando logaritmos de ambos os lados, obtemos o seguinte:

$$\log ( \sqrt{2\pi} \Xi_n ) - \log n \sim -\log Z_n - \frac{Z_n^2}{2} \,. \tag{1}$$

É aqui que Cramer é um tanto cauteloso; ele apenas diz "assumindo que está limitado", podemos concluir blá blá blá. Mas mostrar que está adequadamente limitado quase certamente parece não ser nada trivial. Parece que a prova disso pode essencialmente fazer parte do que é discutido nas páginas 265-267 de Galambos, mas não tenho certeza, pois ainda estou trabalhando para entender o conteúdo desse livro.$\Xi_n$$\Xi_n$

De qualquer forma, supondo que se possa mostrar que$\log \Xi_n = o(\log n)$ , segue-se (uma vez que o domina o termo ) que:$-Z_n^2/2$$-\log Z_n$

$$- \log n \sim - \frac{Z_n^2}{2} \quad \implies \quad Z_n \sim \sqrt{2 \log n} \,.$$

Isso é um pouco legal, já que já é a maior parte do que queremos mostrar, embora, novamente, valha a pena notar que ele está apenas chutando a lata pela estrada, pois agora temos que mostrar certa certeza de que . Por outro lado, tem a mesma distribuição para qualquer máximo de iid variáveis ​​aleatórias contínuas, portanto, isso pode ser tratável.$\Xi_n$$\Xi_n$

De qualquer forma, se como, então claramente também se pode concluir que para qualquer que é como . Usando nosso lema sobre funções polylog preservando a equivalência assintótica acima, podemos substituir essa expressão novamente em para obter:$Z_n \sim \sqrt{2 \log n}$$Z_n \sim \sqrt{2 \log n}(1 + \alpha(n))$$\alpha(n)$$o(1)$$n \to \infty$$(1)$

$$\log(\sqrt{2 \pi} \Xi _n)- \log n \sim -\log (1 + \alpha) - \frac{1}{2}\log 2 - \frac{1}{2}\log \log n - \log n - 2 \alpha \log n - \alpha^2 \log n \,.$$

$$\implies -\log(\Xi_n \sqrt{2 \pi}) \sim \log(1 + \alpha) + \frac{1}{2} \log 2 + \frac{1}{2} \log \log n + 2\alpha \log n + \alpha^2 \log n \,.$$

Aqui temos que ir ainda mais longe e assumir que quase certamente$\log \Xi_n = o( \log \log n) ~~ as ~~ n \to \infty$ . Novamente, tudo que Cramer diz é "assumindo que está limitado". Mas como tudo o que se pode dizer a priori sobre é que como, dificilmente parece claro que se deva ter quase certamente, o que parece ser a substância da afirmação de Cramer.$\Xi_n$$\Xi_n$$0 \le Xi_n \le n$$\Xi_n = O(1)$

De qualquer forma, supondo que alguém acredite nisso, segue-se que o termo dominante que não contém é . Como , segue-se que e claramente , portanto, o termo dominante que contém é . Portanto, podemos reorganizar e (dividir tudo por ou ) descobrir que$\alpha$$\frac{1}{2} \log \log n$$\alpha = o(1)$$\alpha^2 = o(\alpha)$$\log ( 1 + \alpha) = o (\alpha) = o(o(\alpha \log n))$$\alpha$$2 \alpha \log n$$\frac{1}{2}\log\log n$$2 \alpha \log n$

$$- \frac{1}{2} \log \log n \sim 2 \alpha \log n \quad \implies \quad \alpha \sim - \frac{\log \log n}{4 \log n} \,.$$

Portanto, substituindo isso de volta ao descrito acima, obtemos o seguinte:

$$Z_n \sim \sqrt{2 \log n}- \frac{\log\log n}{2 \sqrt{2 \log n}} \,,$$

novamente, assumindo que acreditamos em certas coisas sobre .$\Xi_n$

Repetimos a mesma técnica novamente; desde , também segue-se que$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}}$

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}} (1 + \beta(n)) = \sqrt{2 \log n} \left( 1 - \frac{\log \log n}{8 \log n}(1 + \beta(n)) \right) \,,$$

quando . Vamos simplificar um pouco antes de substituir diretamente de volta para (1); nós entendemos isso:$\beta(n)=o(1)$

$$\log Z_n \sim \log(\sqrt{2 \log n}) + \underbrace{\log \left(1 - \frac{\log \log n}{8 \log n}(1 + \beta(n)) \right) }_{\log(O(1)) = o(\log n)} \sim \log (\sqrt{2 \log n}) \,.$$

$$\frac{Z_n^2}{2} \sim \log n - \frac{1}{2} \log \log n (1 + \beta) + \underbrace{\frac{(\log \log n)^2}{8 \log n} ( 1 \beta)^2}_{o((1+ \beta) \log \log n)} \sim \log n - \frac{1}{2} (1 + \beta) \log \log n \,.$$

Substituindo isso de volta em (1), descobrimos que:

$$\log ( \sqrt{2 \pi} \Xi_n) - \log n \sim - \log(\sqrt{2 \log n}) - \log n + \frac{1}{2}(1 + \beta) \log \log n \quad \implies \quad \beta \sim \frac{\log (4 \pi \Xi_n^2)}{\log \log n} \,.$$

Portanto, concluímos que quase certamente

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}} \left(1 + \frac{\log(4 \pi) + 2 \log( \Xi_n)}{\log \log n} \right)\\ = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{ 2 \sqrt{2 \log n} } - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} \,.$$

Isso corresponde ao resultado final na p.374 dos Métodos Matemáticos de Estatística de Cramer, de 1946, exceto que aqui a ordem exata do termo do erro não é dada. Aparentemente, a aplicação desse termo a mais dá a ordem exata do termo do erro, mas, de qualquer maneira, não parece necessário provar os resultados sobre os máximos das normais padrão iid nos quais estamos interessados.

---

Dado o resultado do exposto acima, a saber, quase que com certeza:

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} \quad \implies \\ Z_n = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} + o(1)\,. \tag{$\dagger$}$$

2. Então, por linearidade da expectativa, segue-se que:

$$\mathbb{E}Z_n = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\mathbb{E}[\log (\Xi_n)]}{\sqrt{2 \log n}} + o(1) \quad \implies \\ \frac{\mathbb{E}Z_n}{\sqrt{2 \log n}} = 1 - \frac{\mathbb{E}[\log \Xi_n]}{2 \log n} + o(1) \,.$$

Portanto, mostramos que

$$\lim_{n \to \infty } \frac{\mathbb{E} Z_n}{\sqrt{2 \log n}} = 1 \,,$$

desde que também possamos mostrar que

$$\mathbb{E}[\log \Xi_n] = o(\log n) \,.$$

Isso pode não ser muito difícil de mostrar, pois novamente tem a mesma distribuição para cada variável aleatória contínua. Assim, temos o segundo resultado de cima.$\Xi_n$

1. Da mesma forma, também temos do exposto que quase certamente:

$$\frac{Z_n}{\sqrt{2 \log n}} = 1 - \frac{\log(\Xi_n)}{2 \log n} +o(1),.$$

Portanto, se podemos mostrar que:

$$\log(\Xi_n) = o(\log n) \text{ almost surely}, \tag{*}$$

então teremos mostrado o primeiro resultado de cima. O resultado (*) também implicaria claramente uma fortiori que , assim também nos deu o primeiro resultado acima.$\mathbb{E}[\log (\Xi_n)] = o(\log n)$

Observe também que, na prova acima de ( ), precisamos assumir de qualquer maneira que quase com certeza (ou pelo menos algo semelhante), de modo que, se pudermos mostrar ( ), provavelmente também teremos no processo necessário para mostrar quase certamente, e, portanto, se pudermos provar , provavelmente conseguiremos chegar imediatamente a todas as conclusões a seguir.$\dagger$$\Xi_n = o(\log n)$$\dagger$$\Xi_n = o(\log n)$$(\dagger)$

3. No entanto, se tivermos esse resultado, não entendo como alguém também teria esse , já que . Mas, no mínimo, parece verdade que$\mathbb{E}Z_n = \sqrt{2 \log n} + \Theta(1)$$o(1) \not= \Theta(1)$

$$\mathbb{E}Z_n = \sqrt{2 \log n} + O(1) \,.$$

---

Portanto, parece que podemos nos concentrar em responder à pergunta de como mostrar que

$$\Xi_n = o(\log n) \text{ almost surely.}$$

Também precisaremos fazer o trabalho duro de fornecer uma prova para (~), mas, até onde sei, isso é apenas cálculo e não envolve teoria de probabilidades, embora eu ainda precise sentar e tentar ainda.

Primeiro, vamos passar por uma cadeia de trivialidades para reformular o problema de uma maneira que facilite a solução (observe que, por definição, ):$\Xi_n \ge 0$

$$\Xi_n = o(\log n) \quad \iff \quad \lim_{n \to \infty} \frac{\Xi_n}{\log n} = 0 \quad \iff \quad \\ \forall \varepsilon > 0, \frac{\Xi_n}{\log n} > \varepsilon \text{ only finitely many times} \quad \iff \\ \forall \varepsilon >0, \quad \Xi_n > \varepsilon \log n \text{ only finitely many times} \,.$$

Também se tem que:

$$\Xi_n > \varepsilon \log n \quad \iff \quad n(1 - F(Z_n)) > \varepsilon \log n \quad \iff \quad 1 - F(Z_n) > \frac{\varepsilon \log n}{n} \\ \iff \quad F(Z_n) < 1 - \frac{\varepsilon \log n}{n} \quad \iff \quad Z_n \le \inf \left\{ y: F(y) \ge 1 - \frac{\varepsilon \log n}{n} \right\} \,.$$

De forma correspondente, defina para todos os :$n$

$$u_n^{(\varepsilon)} = \inf \left\{ y: F(y) \ge 1 - \frac{\varepsilon \log n}{n} \right\} \,.$$

Portanto, as etapas acima nos mostram que:

$$\Xi_n = o(\log n) \text{ a.s.} \quad \iff \quad \mathbb{P}(\Xi_n = o(\log n)) = 1 \quad \iff \quad \\ \mathbb{P}(\forall \varepsilon > 0 , \Xi_n > \varepsilon \log n \text{ only finitely many times}) = 1 \\ \iff \mathbb{P}(\forall \varepsilon > 0, Z_n \le u_n^{(\varepsilon)} \text{ only finitely many times}) = 1 \\ \iff \mathbb{P}(\forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) =0 \,.$$

Observe que podemos escrever:

$$\{ \forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} = \bigcap_{\varepsilon > 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \,.$$

As seqüências uniformemente à medida que diminui, para que possamos concluir que os eventos estão diminuindo (ou pelo menos de alguma forma monotônica) como vai para . Portanto, o axioma da probabilidade em relação às seqüências monotônicas de eventos nos permite concluir que:$u_n^{(\varepsilon)}$$\varepsilon$

$$\{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \}$$ $\varepsilon$$0$

$$\mathbb{P}(\forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) = \\ \mathbb{P} \left( \bigcap_{\varepsilon > 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \right) = \\ \mathbb{P} \left( \lim_{\varepsilon \downarrow 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \right) = \\ \lim_{\varepsilon \downarrow 0} \mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) \,.$$

Portanto, basta mostrar que, para todos os ,$\varepsilon >0$

$$\mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) = 0$$

porque é claro que o limite de qualquer sequência constante é a constante.

Aqui está um resultado de marreta:

Teorema 4.3.1., P. 252 de Galambos, A teoria assintótica das estatísticas de ordem extrema , 2ª edição. Sejam suas variáveis ​​com a função de distribuição contínua e não-regenerada e comum , e seja uma sequência não decrescente, de modo que também não diminua. Em seguida, para , acordo com $X_1, X_2, \dots$$F(x)$$u_n$$n(1 - F(u_n))$$u_n < \sup \{ x: F(x) <1 \}$

$$\mathbb{P}(Z_n \le u_n \text{ infinitely often}) =0 \text{ or }1$$ $$\sum_{j=1}^{+\infty}[1 - F(u_j)]\exp(-j[1-F(u_j)]) < +\infty \text{ or }=+\infty \,.$$

A prova é técnica e leva cerca de cinco páginas, mas acaba sendo um corolário de um dos lemas de Borel-Cantelli. Eu posso tentar condensar a prova para usar apenas a parte necessária para esta análise, bem como apenas as suposições contidas no caso gaussiano, que podem ser mais curtas (mas talvez não seja) e digitá-la aqui, mas prender a respiração não é recomendado. Observe que, nesse caso, , de modo que a condição é vazia, e é portanto, claramente não decrescente.$\omega(F)=+\infty$$n(1-F(n))$$\varepsilon \log n$

De qualquer forma, o ponto é que, apelando para esse teorema, se podemos mostrar que:

$$\sum_{j=1}^{+\infty}[1 - F(u_j^{(\varepsilon)})]\exp(-j[1-F(u_j^{(\varepsilon)})]) = \sum_{j=1}^{+\infty}\left[ \frac{\varepsilon \log j}{j} \right]\exp(-\varepsilon \log j) = \varepsilon \sum_{j=1}^{+\infty} \frac{ \log j}{j^{1 + \varepsilon}} < + \infty \,.$$

Observe que, como o crescimento logarítmico é mais lento do que qualquer crescimento da lei de energia para qualquer expoente positivo da lei de energia (logaritmos e exponenciais preservam a monotonicidade, portanto, e a antiga desigualdade sempre podem ser vistas como válidas para todos os grandes o suficiente devido ao fato de e uma alteração de variáveis), temos o seguinte:$\log \log n \le \alpha \log n \iff \log n \le n^{\alpha}$$n$$\log n \le n$

$$\sum_{j=1}^{+\infty} \frac{\log j}{j^{1 + \varepsilon}} \le \sum_{j=1}^{+\infty} \frac{j^{\varepsilon/2}}{j^{1 + \varepsilon}} = \sum_{j=1}^{+\infty} \frac{1}{j^{1 + \varepsilon/2}} < +\infty \,,$$

uma vez que a série p é conhecida por convergir para todos os , e obviamente implica .$p>1$$\varepsilon >0$$1 + \varepsilon/2 > 1$

Assim, usando o teorema acima, mostramos que, para todos os , , o que recapitular deve significar que quase certamente.$\varepsilon >0$$\mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ i.o.}) = 0$$\Xi_n = o(\log n)$

Ainda precisamos mostrar que . Isso não segue o exposto acima, pois, por exemplo,$\log \Xi_n = o(\log \log n)$

$$\frac{1}{n} \log n = o(\log n) \,, - \log n + \log \log n \not= o(\log n) \,.$$

No entanto, dada uma sequência , se é possível mostrar que para arbitrário , segue-se que . Idealmente, eu gostaria de poder mostrar isso para usando o lema acima (supondo que seja verdade), mas não posso (até o momento).$x_n$$x_n = o( (\log n)^{\delta})$$\delta >0$$\log(x_n) = o(\log \log n)$$\Xi_n$