Como modelar a soma das variáveis ​​aleatórias de Bernoulli para dados dependentes?

Tenho quase as mesmas perguntas como esta: Como modelar eficientemente a soma das variáveis ​​aleatórias de Bernoulli?

Mas a configuração é bem diferente:

1. P ( X i = 1 ) = p i N p $S=\sum_{i=1,N}{X_i}$ , , ~ 20, ~ 0,1$P(X_{i}=1)=p_i$$N$$p_i$

2. Temos os dados para os resultados das variáveis ​​aleatórias de Bernoulli: ,$X_{i,j}$$S_j=\sum_{i=1,N}{X_{i,j}}$

3. Se estimarmos com estimativa de probabilidade máxima (e obter ), verifica-se que é muito maior que esperado pelos outros critérios:$p_i$$\hat p^{MLE}_i$$\hat P\{S=3\} (\hat p^{MLE}_i)$$\hat P\{S=3\} (\hat p^{MLE}_i) - \hat P^{expected} \{S=3\}\approx 0.05$

4. Portanto, e não podem ser tratados como independentes (eles têm pequena dependência).$X_{i}$$X_{j}$ $(j>k)$

5. Existem algumas restrições como estas: e (conhecido), que devem ajudar na estimativa de .$p_{i+1} \ge p_i$$\sum_{s \le 2}\hat P\{S=s\}=A$$P\{S\}$

Como poderíamos tentar modelar a soma das variáveis ​​aleatórias de Bernoulli nesse caso?

Que literatura poderia ser útil para resolver a tarefa?

ATUALIZADA

Existem mais algumas idéias:

(1) É possível supor que a dependência desconhecida entre comece após 1 ou mais sucessos em série. Então, quando , e .${X_i}$$\sum_{i=1,K}{X_i} > 0$$p_{K+1} \to p'_{K+1}$$p'_{K+1} < p_{K+1}$

(2) Para usar o MLE, precisamos do modelo menos questionável. Aqui está uma variante:

$P\{X_1,...,X_k\}= (1-p_1) ... (1-p_k)$ se para qualquer k se e e para qualquer k.$\sum_{i=1,k}{X_i} = 0$$P\{X_1,...,X_k,X_{k+1},...,X_N\}= (1-p_1) ... p_k P'\{X_{k+1},...,X_N\}$$\sum_{i=1,k-1}{X_i} = 0$$X_k = 1$$P'\{X_{k+1}=1,X_{k+2}=1,...,X_N=1\} \le p_{k+1} p_{k+2} ... p_N$

(3) Como nos interessamos apenas por , podemos definir (a probabilidade de sucesso para N- (k + 1) +1 summands a partir da cauda). E use a parametrização$P\{S\}$$P'\{X_{k+1},...,X_N\} \approx P''\{\sum_{i=1,k}{X_i}=s' ; N-(k+1)+1=l\}$$\sum_{i=k+1,N}{X_i}$$P''\{\sum_{i=k,N}{X_i}=s' ; N-k+1=l\}= p_{s',l}$

(4) Use MLE para o modelo com base nos parâmetros e com para (e qualquer ) e algumas outras restrições nativas .$p_1,...,p_N$$p_{0,1}, p_{1,1}; p_{0,2}, p_{1,2}, p_{2,2};...$$p_{s',l}=0$$s' \ge 6$$l$

Está tudo bem com este plano?

ATUALIZADO 2

Alguns exemplos de distribuição empírica (vermelha) em comparação com a distribuição de Poisson (azul) (as médias de poisson são 2,22 e 2,45, os tamanhos das amostras são 332 e 259):$P\{S\}$

Para amostras (A1, A2) com os meios de Poisson 2,28 e 2,51 (os tamanhos das amostras são 303 e 249):

Para o samlpe associado A1 + A2 (o tamanho da amostra é 552):

Parece que alguma correção para Poisson deve ser o melhor modelo :).

Uma abordagem seria modelar os com um modelo linear generalizado (GLM). Aqui, você formularia , a probabilidade de sucesso no ésimo teste como uma função (linear logística) da história recente da observação. Então, você está montando essencialmente um GLM autoregressivo em que o ruído é Bernoulli e a função de link é logit. A configuração é:$X$$p_i$$i$

$p_i = f(b + a_1 X_{i-1} + a_2 X_{i-2} + \ldots a_k X_{i-k})$ , em que

$f(x) = \frac{1}{1+\exp(x)}$ e

$X_i \sim Bernoulli(p_i)$

Os parâmetros do modelo são , que podem ser estimados por regressão logística. (Tudo o que você precisa fazer é configurar sua matriz de design usando a parte relevante do histórico de observação em cada tentativa e passar isso para uma função de estimativa de regressão logística; a probabilidade do log é côncava, portanto, existe um máximo global exclusivo para os parâmetros). Se os resultados são realmente independentes, então os serão definidos como zero; positivo significa que os subsequentes aumentam sempre que um sucesso é observado.$\{b, a_1, \ldots a_k\}$$a_i$$a_i$$p_i$

O modelo não fornece uma expressão simples para a probabilidade sobre a soma dos 's, mas isso é fácil de calcular por simulação (filtragem de partículas ou MCMC), pois o modelo possui uma estrutura Markoviana simples.$X_i$

Esse tipo de modelo tem sido utilizado com grande sucesso para modelar dependências temporais entre "picos" de neurônios no cérebro, e há uma extensa literatura sobre modelos de processos pontuais autoregressivos. Veja, por exemplo, Truccolo et al 2005 (embora este artigo use uma probabilidade de Poisson em vez de Bernoulli, mas o mapeamento de um para o outro é direto).

Se a dependência é devido ao aglomerado, um modelo composto de Poisson pode ser a solução como um modelo de . Uma referência um tanto aleatória é essa de Barbour e Chryssaphinou.$S_j$

Em uma direção completamente diferente, já que você indica que é 20 e, portanto, relativamente pequeno, pode ser criar um modelo gráfico dos , mas não sei se sua configuração e dados tornam isso possível. Como comentários do @chl, será útil se você descrever o que são os .$N$$X_{ij}$$X_{i,j}$

Se os representam medições seqüenciais, por exemplo, ao longo do tempo, e a dependência está relacionada a isso, uma terceira possibilidade - e até certo ponto estender um compromisso entre as duas sugestões acima - é usar um modelo Markov oculto de o 's.$X_{i,j}$$X_{i,j}$