Distribuição do maior fragmento de uma vara quebrada (espaçamentos)

Que um pedaço de comprimento 1 seja quebrado em fragmentos uniformemente aleatoriamente. Qual é a distribuição do comprimento do fragmento mais longo? $k+1$

Mais formalmente, sejam IID e sejam as estatísticas de pedidos associadas, ou seja , simplesmente solicitamos a amostra de maneira que . Deixe . $(U_1, \ldots U_k)$ $U(0,1)$ $(U_{(1)}, \ldots, U_{(k)})$ $U_{(1)} \leq U_{(2)} \leq, \ldots , \leq U_{(k)}$ $Z_k = \max \left(U_{(1)}, U_{(2)}-U_{(1)}, \ldots, U_{(k)} - U_{(k-1)}, 1-U_{(k)}\right)$

Estou interessado na distribuição do $Z_k$ . Momentos, resultados assintóticos ou aproximações para $k \uparrow \infty$ também são interessantes.

— gui11aume
fonte

Este é um problema bem estudado; ver R. Pyke (1965), "Spacings", JRSS (B) 27 : 3, pp. 395-449. Tentarei voltar para adicionar algumas informações mais tarde, a menos que alguém me derrote. Também há um artigo de 1972 do mesmo autor (" Spacings revisited "), mas acho que o que você procura é basicamente o primeiro. Há alguns assintóticos em Devroye (1981) , "Leis do logaritmo iterado para estatísticas de ordem de espaçamentos uniformes" Ann. Probab. , 9 : 5, 860-867.

— Glen_b -Reinstate Monica

Eles também devem fornecer bons termos de pesquisa para encontrar trabalhos posteriores, se você precisar.

— Glen_b -Reinstate Monica

Isso é incrível. A primeira referência é difícil de encontrar. Para os interessados, coloquei no Grand Locus .

— gui11aume

Corrija a impressão incorreta: vez de .

Y_{(k)}

$Y_{(k)}$

U_{(k)}

$U_{(k)}$

— Viktor

Obrigado @Viktor! Para coisas tão pequenas, não hesite em fazer a edição você mesmo (acho que ela será revisada por outros usuários para aprovação).

— precisa saber é o seguinte

Com as informações fornecidas por @Glen_b eu pude encontrar a resposta. Usando as mesmas notações da pergunta

P (Z_{k} \leq x) = \sum_{j = 0}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j} (1 - j x)_{+}^{k},

$P(Z_k \leq x) = \sum_{j=0}^{k+1} { k+1 \choose j } (-1)^j (1-jx)_+^k,$

onde se e caso contrário. Dou também a expectativa e a convergência assintótica ao Gumbel ( NB : $a_+ = a$ $a > 0$ $0$ distribuição de não Beta)

E (Z_{k}) = \frac{1}{k + 1} \sum_{i = 1}^{k + 1} \frac{1}{i} \sim \frac{\log (k + 1)}{k + 1}, P (Z_{k} \leq x) \sim \exp (- e^{- (k + 1) x + \log (k + 1)}) .

$E(Z_k)= \frac{1}{k+1}\sum_{i=1}^{k+1}\frac{1}{i} \sim \frac{\log(k+1)}{k+1}, \\ P(Z_k \leq x) \sim \exp\left(- e^{-(k+1)x + \log(k+1)} \right).$

O material das provas é retirado de várias publicações vinculadas nas referências. Eles são um pouco longos, mas diretos.

1. Prova da distribuição exata

Seja as variáveis aleatórias uniformes do no intervalo . Ao solicitá-los, obtemos as estatísticas de ordens indicadas . Os espaçamentos uniformes são definidos como , com e . Os espaçamentos ordenados são as estatísticas ordenadas correspondentes . A variável de interesse é . $(U_1, \ldots, U_k)$ $(0,1)$ $k$ $(U_{(1)}, \ldots, U_{(k)})$ $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$ $U_{(k+1)} = 1$ $\Delta_{(1)} \leq \ldots \leq \Delta_{(k+1)}$ $\Delta_{(k+1)}$

Para fixo , definimos a variável indicadora . Por simetria, o vetor aleatório é permutável, portanto, a distribuição conjunta de um subconjunto de tamanho é igual à distribuição conjunta de o primeiro $x \in (0,1)$ $\mathbb{1}_i = \mathbb{1}_{\{\Delta_i > x\}}$ $(\mathbb{1}_1, \ldots, \mathbb{1}_{k+1})$ $j$ $j$ . Expandindo o produto, obtemos assim

P (Δ_{(k + 1)} \leq x) = E (\prod_{i = 1}^{k + 1} (1 - 1_{i})) = 1 + \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j} E (\prod_{i = 1}^{j} 1_{i}) .

$P(\Delta_{(k+1)} \leq x) = E \left( \prod_{i=1}^{k+1} (1 - \mathbb{1}_i) \right) = 1 + \sum_{j=1}^{k+1} { k+1 \choose j } (-1)^j E \left( \prod_{i=1}^j \mathbb{1}_i \right).$

Agora provaremos que , que estabelecerá a distribuição fornecida acima. Provamos isso para , como o caso geral é provado de maneira semelhante. $E \left( \prod_{i=1}^j \mathbb{1}_i \right) = (1-jx)_+^k$ $j=2$

E (\prod_{i = 1}^{2} 1_{i}) = P (Δ_{1} > x \cap Δ_{2} > x) = P (Δ_{1} > x) P (Δ_{2} > x | Δ_{1} > x) .

$E \left( \prod_{i=1}^2 \mathbb{1}_i \right) = P(\Delta_1 > x \cap \Delta_2 > x) = P(\Delta_1 > x) P(\Delta_2 > x | \Delta_1 > x).$

Se , os pontos de interrupção estão no intervalo . Condicionalmente nesse evento, os pontos de interrupção ainda são intercambiáveis, portanto, a probabilidade de que a distância entre o segundo e o primeiro ponto de interrupção seja maior que é igual à probabilidade de que a distância entre o primeiro ponto de interrupção e a barreira esquerda (na posição ) é maior que $\Delta_1 > x$ $k$ $(x,1)$ $x$ $x$ $x$ . tão

P (Δ_{2} > x | Δ_{1} > x) = P (all points are in (2 x, 1) | all points are in (x, 1)), so P (Δ_{2} > x \cap Δ_{1} > x) = P (all points are in (2 x, 1)) = (1 - 2 x)_{+}^{k} .

$P(\Delta_2 > x | \Delta_1 > x) = P\big(\text{all points are in } (2x,1) \big| \text{all points are in } (x,1)\big), \; \text{so} \\ P(\Delta_2 > x \cap \Delta_1 > x) = P\big(\text{all points are in } (2x,1)\big) = (1-2x)_+^k.$

2. Expectativa

Para distribuições com suporte finito, temos

E (X) = \int P (X > x) d x = 1 - \int P (X \leq x) d x .

$E(X) = \int P(X > x)dx = 1 - \int P(X \leq x)dx.$

Integrando a distribuição de , obtemos $\Delta_{(k+1)}$

E (Δ_{(k + 1)}) = \frac{1}{k + 1} \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) \frac{(- 1)^{j + 1}}{j} = \frac{1}{k + 1} \sum_{j = 1}^{k + 1} \frac{1}{j} .

$E\left(\Delta_{(k+1)}\right) = \frac{1}{k+1}\sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j} = \frac{1}{k+1}\sum_{j=1}^{k+1}\frac{1}{j}.$

A última igualdade é uma representação clássica de números harmônicos , que demonstramos abaixo. $H_i = 1+ \frac{1}{2}+ \ldots + \frac{1}{i}$

H_{k + 1} = \int_{0}^{1} 1 + x + \dots + x^{k} d x = \int_{0}^{1} \frac{1 - x^{k + 1}}{1 - x} d x .

$H_{k+1} = \int_0^1 1 + x + \ldots + x^k dx = \int_0^1 \frac{1-x^{k+1}}{1-x}dx.$

Com a mudança da variável e a expansão do produto, obtemos $u = 1-x$

H_{k + 1} = \int_{0}^{1} \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j + 1} u^{j - 1} d u = \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) \frac{(- 1)^{j + 1}}{j} .

$H_{k+1} = \int_0^1\sum_{j=1}^{k+1}{ k+1 \choose j }(-1)^{j+1}u^{j-1}du = \sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j}.$

3. Construção alternativa de espaçamentos uniformes

Para obter a distribuição assintótica do maior fragmento, precisaremos exibir uma construção clássica de espaçamentos uniformes como variáveis exponenciais divididas por sua soma. A densidade de probabilidade das estatísticas de pedidos associadas $(U_{(1)}, \ldots, U_{(k)})$ é

f_{U_{(1)}, \dots U_{(k)}} (u_{(1)}, \dots, u_{(k)}) = k!, 0 \leq u_{(1)} \leq \dots \leq u_{(k + 1)} .

$f_{U_{(1)}, \ldots U_{(k)}}(u_{(1)}, \ldots, u_{(k)}) = k!, \; 0 \leq u_{(1)} \leq \ldots \leq u_{(k+1)}.$

Se denotar os espaçamentos uniformes , com , obteremos $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$

f_{Δ_{1}, \dots Δ_{k}} (δ_{1}, \dots, δ_{k}) = k!, 0 \leq δ_{i} + \dots + δ_{k} \leq 1.

$f_{\Delta_1, \ldots \Delta_k}(\delta_1, \ldots, \delta_k) = k!, \; 0 \leq \delta_i + \ldots + \delta_k \leq 1.$

Ao definir , obtemos assim $U_{(k+1)} = 1$

f_{Δ_{1}, \dots Δ_{k + 1}} (δ_{1}, \dots, δ_{k + 1}) = k!, δ_{1} + \dots + δ_{k} = 1.

$f_{\Delta_1, \ldots \Delta_{k+1}}(\delta_1, \ldots, \delta_{k+1}) = k!, \; \delta_1 + \ldots + \delta_k = 1.$

Agora, seja variáveis aleatórias exponenciais do com média 1 e seja . Com uma simples mudança de variável, podemos ver que $(X_1, \ldots, X_{k+1})$ $S = X_1 + \ldots + X_{k+1}$

f_{X_{1}, \dots X_{k}, S} (x_{1}, \dots, x_{k}, s) = e^{- s} .

$f_{X_1, \ldots X_k, S}(x_1, \ldots, x_k, s) = e^{-s}.$

Defina , de modo que, por uma mudança de variável, obtenhamos $Y_i = X_i/S$

f_{Y_{1}, \dots Y_{k}, S} (y_{1}, \dots, y_{k}, s) = s^{k} e^{- s} .

$f_{Y_1, \ldots Y_k, S}(y_1, \ldots, y_k, s) = s^k e^{-s}.$

Integrando essa densidade em relação a , obtemos assim $s$

f_{Y_{1}, \dots Y_{k},} (y_{1}, \dots, y_{k}) = \int_{0}^{\infty} s^{k} e^{- s} d s = k!, 0 \leq y_{i} + \dots + y_{k} \leq 1, and thus f_{Y_{1}, \dots Y_{k + 1},} (y_{1}, \dots, y_{k + 1}) = k!, y_{1} + \dots + y_{k + 1} = 1.

$f_{Y_1, \ldots Y_k,}(y_1, \ldots, y_k) = \int_0^{\infty}s^k e^{-s}ds = k!, \; 0 \leq y_i + \ldots + y_k \leq 1, \; \text{and thus} \\ f_{Y_1, \ldots Y_{k+1},}(y_1, \ldots, y_{k+1}) = k!, \; y_1 + \ldots + y_{k+1} = 1.$

Portanto, a distribuição conjunta de espaçamentos uniformes no intervalo é a mesma que a distribuição conjunta de $k+1$ $(0,1)$ $k+1$ variáveis aleatórias exponenciais divididas por sua soma. Chegamos à seguinte equivalência de distribuição

Δ_{(k + 1)} \equiv \frac{X_{(k + 1)}}{X_{1} + \dots + X_{k + 1}} .

$\Delta_{(k+1)} \equiv \frac{X_{(k+1)}}{X_1 + \ldots + X_{k+1}}.$

4. Distribuição assintótica

Utilizando a equivalência acima, obtemos

\begin{aligned} P ((k + 1) Δ_{(k + 1)} - \log (k + 1) \leq x) & = P (X_{(k + 1)} \leq (x + \log (k + 1)) \frac{X_{1} + \dots + X_{k + 1}}{k + 1}) \\ = P (X_{(k + 1)} - \log (k + 1) \leq x + (x + \log (k + 1)) T_{k + 1}), \end{aligned}

$\begin{align} P\big((k+1)\Delta_{(k+1)} - \log(k+1) \leq x\big) &= P\left(X_{(k+1)} \leq (x + \log(k+1))\frac{X_1 + \ldots + X_{k+1}}{k+1}\right) \\ &= P\left(X_{(k+1)} - \log(k+1) \leq x + (x + \log(k+1))T_{k+1}\right), \end{align}$

onde . Essa variável desaparece em probabilidade porque e . Assintoticamente, a distribuição é a mesma de . Como o é IID, temos $T_{k+1} = \frac{X_1+\ldots+X_{k+1}}{k+1} -1$ $E\left(T_{k+1}\right) = 0$ $Var\big(\log(k+1)T_{k+1}\big) = \frac{(\log(k+1))^2}{k+1} \downarrow 0$ $X_{(k+1)} - \log(k+1)$ $X_i$

\begin{aligned} P (X_{(k + 1)} - \log (k + 1) \leq x) & = P {(X_{1} \leq x + \log (k + 1))}^{k + 1} \\ = {(1 - e^{- x - \log (k + 1)})}^{k + 1} = {(1 - \frac{e^{- x}}{k + 1})}^{k + 1} \sim \exp {- e^{- x}} . \end{aligned}

$\begin{align} P\left(X_{(k+1)} - \log(k+1) \leq x \right) &= P\left(X_1 \leq x + \log(k+1)\right)^{k+1} \\ &= \left(1-e^{-x - \log(k+1)}\right)^{k+1} = \left(1-\frac{e^{-x}}{k+1}\right)^{k+1} \sim \exp\left\{-e^{-x}\right\}. \end{align}$

5. Visão geral gráfica

O gráfico abaixo mostra a distribuição do maior fragmento para diferentes valores de . Para , também cobri a distribuição assintótica de Gumbel (linha fina). O Gumbel é uma péssima aproximação para valores pequenos de então eu os omito para não sobrecarregar a imagem. A aproximação de Gumbel é boa a partir de . $k$ $k=10, 20, 50$ $k$ $k \approx 50$

6. Referências

As provas acima são extraídas das referências 2 e 3. A literatura citada contém muitos outros resultados, como a distribuição dos espaçamentos ordenados de qualquer categoria, sua distribuição limite e algumas construções alternativas dos espaçamentos uniformes ordenados. As principais referências não são facilmente acessíveis, por isso também forneço links para o texto completo.

Bairamov et al. (2010) Resultados de limite para espaçamentos uniformes ordenados , Stat papers, 51: 1, pp 227-240
Holst (1980) Sobre os pedaços de um pedaço de pau quebrado ao acaso , J. Appl. Prob., 17, pp. 623-634
Pyke (1965) Spacings , JRSS (B) 27: 3, pp. 395-449
Renyi (1953) Sobre a teoria das estatísticas da ordem , Acta math Hung, 4, pp 191-231

— gui11aume
fonte

Brilhante. A propósito, existe um assintótico conhecido para ?

E (Z_{k}^{2})

$E(Z_k ^2)$

— Amir Sagiv

@AmirSagiv, essa é uma boa pergunta. Dei uma rápida olhada nas referências e não consegui encontrá-las. Também não consegui adaptar a prova acima. Isso me fez perceber que não sei qual é a distribuição de um quadrado de um Gumbel. Talvez seja um bom lugar para começar?

— precisa saber é

$ Olhe gui11aume aqui: mathoverflow.net/a/293381/42864

— Amir Sagiv

@AmirSagiv Este é um post muito bom. Por alguma razão, eu entendi mal sua pergunta e pensei que você estava interessado na distribuição assintótica de (mesmo que seu comentário fosse muito claro), então meu comentário acima não é tão relevante.

Z_{k}^{2}

$Z_k^2$

— gui11aume

Esta não é uma resposta completa, mas fiz algumas simulações rápidas e foi isso que obtive: Histograma do fragmento mais longo

Isso parece notavelmente beta-ish, e isso faz um pouco de sentido, já que as estatísticas de ordem das distribuições uniformes do iid são beta wiki .

Isso pode dar um ponto de partida para derivar o pdf resultante.

Vou atualizar se chegar a uma solução final fechada.

Felicidades!

— Lima
fonte

Só mais uma coisa, a forma do histograma para aumentar k não muda consideravelmente, além de obter "esmagado" perto de 0.

— Lima

Obrigado por seus pensamentos @Lima (e bem-vindo ao Cross Validated). Eu acho que sua resposta pode ser melhorada. Primeiro, eu evitaria fazer declarações sem provas. Se isso estiver incorreto, você pode colocar as pessoas que veem esse tópico no caminho errado. Segundo, eu documentaria o que você fez. Sem o valor de

que você usou nem o código, a figura não ajuda ninguém. Por fim, copio e edito a resposta e removo tudo o que não está respondendo diretamente à pergunta.

k

$k$

— gui11aume

Obrigado pelas sugestões. Eles são válidos além da troca de pilhas e eu lembrarei de usá-los.

— Lima

Eu produzi a resposta para uma conferência em Siena (Itália) em 2005. O artigo (2006) é apresentado no meu site aqui (pdf) . As distribuições exatas de todos os espaçamentos (do menor para o maior) são encontradas nas páginas 75 e 76.

Espero fazer uma apresentação sobre esse tópico na Conferência RSS em Manchester (Inglaterra) em setembro de 2016.

— CJStephens
fonte

Bem vindo ao site. Estamos tentando construir um repositório permanente de informações estatísticas de alta qualidade na forma de perguntas e respostas. Portanto, temos receio de respostas somente para links, devido ao linkrot. Você pode postar uma citação completa e um resumo das informações no link, caso elas desapareçam? Além disso, não assine suas postagens aqui. Cada postagem tem um link para sua página de usuário, onde você pode postar essas informações.

— gung - Restabelece Monica