Problema reverso de aniversário com várias colisões

Suponha que você teve um ano alienígena com um comprimento desconhecido N. Se você tem uma amostra aleatória dos referidos alienígenas e alguns deles compartilham aniversários, você pode usar esses dados para estimar a duração do ano?

Por exemplo, em uma amostra de 100, você pode ter dois trigêmeos (ou seja, dois aniversários cada um compartilhados por três alienígenas) e cinco pares e oitenta e quatro singletons. Na estimativa de N, o mínimo absoluto é 91 e o máximo é ilimitado, mas como eu encontraria um valor esperado razoável?

Pressupostos incluem coisas como "todos os aniversários são igualmente prováveis".

Ao contrário de outra pergunta respondida aqui, existem colisões conhecidas na sala. Qualquer ano suficientemente longo terá uma forte probabilidade de não colisões para uma sala de alienígenas. Porém, anos muito longos terão chances baixas de qualquer colisão, e anos curtos terão chances baixas de poucas colisões, proporcionando assim um intervalo (teórico) para os comprimentos de ano mais prováveis.

estimation inference birthday-paradox

— Techhead
fonte

Minha resposta a uma versão especial desta pergunta generaliza prontamente (usando a distribuição multinomial): consulte stats.stackexchange.com/questions/252813 .

— whuber

@Techhead De várias maneiras! A abordagem óbvia para a estimativa de parâmetros a ser mencionada seria a máxima probabilidade.

— Glen_b -Reinstate Monica

Possível duplicata de Um problema de aniversário inverso: nenhum par de 1 milhão de alienígenas compartilha um aniversário; qual é a duração do ano?

— 22917 Stephan Stephan-Zassa

@whuber Eu vi essa pergunta e seu comentário, mas não vi como aplicar a maior parte a uma amostra com colisões conhecidas. Não é difícil encontrar a forma expandida, mas não sei como encontraria a soma logarítmica.

— Techhead

Concordo que sua versão é suficientemente mais complicada que não deve ser fechada como duplicada.

— whuber

Respostas:

O valor esperado de uma distribuição é calculado como . Para esse problema, queremos calcular a distribuição de com base em alguns critérios de colisão ou encontrar com alguns critérios de colisão, em que $E(X) = \sum {p_ix_i}$ $N$ $E(N) = \sum_{n=0}^{\infty}p_n n$ $p_n=P(N=n).$

Suponha que você tenha alguns critérios de colisão, conforme declarado acima, e seja a probabilidade de que os critérios de colisão sejam atendidos, considerando que a duração do ano éEm seguida, pode ser encontrado simplesmente dividindo o número de maneiras que os critérios de colisão podem ser atendidos pelo número de maneiras que os aniversários podem ser organizados em geral. Depois que for encontrado para cada possível , a única parte que está faltando é converter em $q_n$ $n.$ $q_n$ $q_n$ $n$ $q_n$ $p_n.$

Se assumirmos que é proporcional a , entãoComo , ePortanto, precisamos apenas de uma fórmula para para resolver esse problema. $p_n$ $q_n$ $p_n= \alpha q_n.$ $\sum_{n=0}^{\infty} p_n=1$ $\alpha \sum_{n=0}^{\infty} q_n=1$ $\alpha=\frac{1}{\sum_{n=0}^{\infty} q_n}.$ $q_n$

Para seu exemplo, vamos primeiro encontrar o número de maneiras pelas quais os critérios de colisão podem ocorrer, dadoO primeiro singleton alienígena pode pousar em qualquer dia, então não há possibilidades. O próximo singleton pode pousar em qualquer dia, exceto no aniversário do primeiro alienígena, então há possibilidades. Completando isso para os primeiros 84 singletons, obtemos maneiras possíveis de isso acontecer. Observe que também temos 5 pares e 2 trigêmeos, portanto o "primeiro" alienígena de cada grupo também não deve pousar nos pares singleton. Isso leva a maneiras pelas quais esses alienígenas não colidem (a sintaxe desajeitada é para facilitar a generalização posteriormente). $N=n.$ $n$ $n-1$ $n(n-1)(n-2)...(n-83)$ $n(n-1)(n-2)...(n-84-5-2 + 1)$

Em seguida, o segundo estrangeiro para um dado par ou tripleto tem 91 escolhas, o seguinte tem 90, etc., o número total de formas Isto pode acontecer devido às aniversários dos primeiros 91 alienígenas é . Os membros restantes dos trigêmeos devem cair nos aniversários dos pares, e a probabilidade de isso acontecer é . Multiplicamos as probabilidades de todas elas juntas para obter um número total de maneiras possíveis para que os critérios de colisão sejam atendidos como: $91(91-1)(91-2)...(91-7+1)$ $7*6$

r_{n} = n (n - 1) . . . (n - 84 - 5 - 2 + 1) (84 + 5 + 2) (84 + 5 + 2 - 1) . . . (84 + 1) (5 + 2) (5 + 1)

$r_n=n(n-1)...(n-84-5-2+1)(84+5+2)(84+5+2-1)...(84+1)(5+2)(5+1)$

Neste ponto, o padrão é claro, se tivermos singletons, pares, e trigêmeos, substituímos 84 com 5 com e 2 com para obter uma fórmula generalizada. Eu acho que também está claro que o número de maneiras possíveis de organizar os aniversários em geral é , onde m é o número total de alienígenas no problema. Portanto, a probabilidade de atender aos critérios de colisão é o número de maneiras de atender aos critérios de colisão dividido pelo número de maneiras pelas quais os alienígenas podem nascer, ou . $a$ $b$ $c$ $a,$ $b,$ $c$ $n^m$ $q_n=\frac{r_n}{n^m}$

Outra coisa interessante apareceu na fórmula de . Seja E deixe seja a parte restante de para que . Observe que é independente de n, então podemos simplesmente escrever como uma constante! Como e , podemos realmente fatorar fora da soma no denominador. Nesse ponto, ele cancela a parte do numerador para obter . Podemos simplificar $r_n$ $y_n=n(n-1)...(n-(a+b+c)+1)=\frac{n!}{(n-(a+b+c))!}$ $z_n$ $r_n$ $r_n=y_nz_n$ $z_n$ $z_n=z$ $p_n=q_n/\sum_{i=0}^\infty q_i$ $q_n=\frac{zy_n}{n^m}$ $z$ $p_n=\frac{y_n}{n^m}/\sum_{i=0}^\infty (\frac{y_i}{i^m})$ $y_n$ além disso, se deixarmos (ou isso pode ser pensado como o número de aniversários únicos no grupo de alienígenas), para obtermos: $s=a+b+c$

p_{n} = \frac{\frac{n!}{(n - s)!}}{n^{m}} / \sum_{i = 0}^{\infty} (\frac{\frac{i!}{(i - s)!}}{i^{m}})

$p_n=\frac{\frac{n!}{(n-s)!}}{n^m}/\sum_{i=0}^\infty (\frac{\frac{i!}{(i-s)!}}{i^m})$

Agora, temos uma fórmula (razoavelmente) simples para e, portanto, uma fórmula (razoavelmente) simples para , onde a única suposição feita era que é proporcional a (a probabilidade de encontrar a colisão) critérios dado que ). Eu acho que essa é uma suposição justa a ser feita, e alguém mais inteligente que eu pode até provar que essa suposição está associada a após uma distribuição multinomial. Nesse ponto, podemos calcular usando métodos numéricos ou fazer algumas suposições de aproximação, pois se aproximará de 0 quando aproxima de . $p_n$ $E(N)$ $P(N=n)$ $q_n$ $N=n$ $P(N=n)$ $E(N)$ $p_n$ $n$ $\infty$

— Cody Maughan
fonte

Parece que você propõe calcular o valor esperado com base em uma função de probabilidade em vez de uma função de massa de probabilidade. Isso foi intencional?

— Sextus Empiricus

A excelente resposta de Cody proporciona uma boa maneira de expressar a função de probabilidade para , o número de dias no ano (ou a distribuição a posteriori com base num plano antes) por factoring fora alguma parte da probabilidade de que é independente a partir de . $N$ $N$

Nesta resposta, gostaria de escrevê-la de forma mais concisa e também fornecer uma maneira de calcular o máximo dessa função de probabilidade (em vez do valor esperado, que é muito mais difícil de calcular).

Função de verossimilhança para N

O número de maneiras de desenhar uma sequência de de um conjunto de aniversários, com a restrição de que é o número de aniversários únicos, aniversários duplicados aniversários triplos é igual a $a+2b+3c$ $n$ $a$ $b$ $c$

\begin{array}{ccl} r_{n} & = & \underset{\begin{array}{ccc} number of ways to \\ pick m unique birthdays \\ out of n days \end{array}}{\underset{⏟}{(\binom{n}{a + b + c})}} \underset{\begin{array}{ccc} number of ways to \\ distribute m birthdays \\ among groups of size a, b and c \end{array}}{\underset{⏟}{\frac{(a + b + c)!}{a! b! c!}}} \underset{\begin{array}{ccc} number of ordered ways to \\ arrange specific \\ single, duplicate, and triplicates \\ among the aliens \end{array}}{\underset{⏟}{\frac{(a + 2 b + 3 c)!}{1!^{a} 2!^{b} 3!^{c}}}} \\ = & \frac{n!}{(n - a - b - c)!} \times \frac{(a + 2 b + 3 c)}{a! b! c! 1!^{a} 2!^{b} 3!^{c}} \end{array}

$\begin{array}{ccl} r_n &=& \underbrace{{n}\choose{a+b+c}}_{\small\begin{array}{ccc}&\text{number of ways to} &\\ &\text{pick $m$ unique birthdays}& \\ &\text{out of $n$ days}&\end{array}} \underbrace{\frac{(a+b+c)!}{a!b!c!}}_{\small\begin{array}{ccc}&\text{number of ways to} &\\ &\text{distribute $m$ birthdays}& \\ &\text{among groups of size $a$, $b$ and $c$}&\end{array}} \underbrace{\frac{(a+2b+3c)!}{1!^a2!^b3!^c}}_{\small\begin{array}{ccc}&\text{number of ordered ways to} &\\ &\text{arrange specific }& \\&\text{single, duplicate, and triplicates}& \\ &\text{among the aliens }&\end{array}} \\ &=& \frac{n!}{(n-a-b-c)!} \times \frac{(a+2b+3c)}{a!b!c!1!^a2!^b3!^c} \end{array}$

e apenas o primeiro termo do lado direito depende de , portanto, fatorando os outros termos, terminamos com uma expressão simples para uma função de probabilidade $n$

\begin{array}{rcl} L (n | a, b, c) & = & n^{- (a + 2 b + 3 c)} \frac{n!}{(n - a - b - c)!} = n^{- m} \frac{n!}{(n - s)!} \\ \propto & P (a, b, c | n) \end{array}

$\begin{array}{rcl} \mathcal{L}(n|a,b,c) &=& n^{-(a+2b+3c)} \frac{n!}{(n-a-b-c)!} = n^{-m} \frac{n!}{(n-s)!}\\ & \propto & P(a,b,c|n) \end{array}$

onde seguimos a notação de Cody e usamos para indicar o número de alienígenas o número de aniversários únicos. $m$ $s$

Estimativa de máxima verossimilhança para N

Podemos usar essa função de verossimilhança para derivar a estimativa de probabilidade máxima para . $N$

Observe que

L (n) = L (n - 1) {(\frac{n - 1}{n})}^{m} \frac{n}{n - s}

$\mathcal{L}(n) = \mathcal{L}(n-1) \left(\frac{n-1}{n}\right)^m\frac{n}{n-s}$

e o máximo ocorrerá imediatamente antes do para o qual $n$

{(\frac{n - 1}{n})}^{m} \frac{n}{n - s} = 1

$\left(\frac{n-1}{n}\right)^m\frac{n}{n-s} = 1$

s = n (1 - {(1 - 1 / n)}^{m})

$s = n \left(1-\left(1-1/n\right)^m \right)$

que é para grande aproximadamente (usando uma série Laurent que você pode encontrar substituindo e escreva na série de Taylor no ponto ) $n$ $x = 1/n$ $x$ $x=0$

s \approx \sum_{k = 0}^{l} (\binom{m}{k}) (- n)^{- k} + O (n^{- (l + 1)})

$s \approx \sum_{k=0}^l {{m}\choose{k}} (-n)^{-k} + \mathcal{O} \left( n^{-(l+1)} \right)$

Usando apenas o termo de primeira ordem você obtém: $s \approx m - \frac{m(m-1)}{2 n}$

n_{1} \approx \frac{(\binom{m}{2})}{m - s}

$n_1 \approx \frac{ {{m}\choose{2}}}{m-s}$

Usando o termo de segunda ordem também você obtém : $s \approx m - \frac{m(m-1)}{2 n} + \frac{m(m-1)(m-2)}{6 n^2}$

n_{2} \approx \frac{(\binom{m}{2}) + \sqrt{{(\binom{m}{2})}^{2} - 4 (m - s) (\binom{m}{3})}}{2 (m - s)}

$n_2 \approx \frac{ {{m}\choose{2}} + \sqrt{{{m}\choose{2}}^2- 4 (m-s){{m}\choose{3}} } }{2(m-s)}$

Assim, no caso das estrangeiros entre os quais há aniversários exclusivos que você obter usando a aproximação e . Quando você resolve a equação numericamente, obtém que arredondamos para para obter o MLE. $m=100$ $s=91$ $n_1 \approx 550$ $n_2 \approx 515.1215$ $n=516.82$ $n=516$

— Sextus Empiricus
fonte