Mudar de Modelar um processo usando uma distribuição Poisson para usar uma distribuição binomial negativa?

$\newcommand{\P}{\mathbb{P}}$ Temos um processo aleatório que pode-ou-pode-não ocorrer várias vezes num período de tempo . Temos um feed de dados de um modelo preexistente desse processo, que fornece a probabilidade de vários eventos ocorrerem no período . Esse modelo existente é antigo e precisamos executar verificações ativas nos dados de feed para detectar erros de estimativa. O modelo antigo que produz o feed de dados (que fornece a probabilidade de eventos ocorrerem no tempo restante ) é aproximadamente distribuído por Poisson.0 ≤ t < T n $T$$0 \leq t < T$$n$$t$

Então, para verificar a existência de anomalias / erros, deixamos ser o tempo restante e ser o número total de eventos para ocorrer no tempo restante . O modelo antigo implica as estimativas . Portanto, sob nossa suposição , temos: Para derivar nossa taxa de eventos da saída do modelo antigo (observações ), usamos uma abordagem de espaço de estados e relação de estado como: X t t P ( X t ≤ c ) X t isson Poisson ( λ t ) P ( X t ≤ c ) = e - λ c ∑ k = 0 λ k $t$$X_t$$t$$\P(X_t \leq c)$$X_t\sim \operatorname{Poisson}(\lambda_{t})$λ t y t y t = λ t + ε

$$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$$ $\lambda_t$$y_{t}$ $$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$$ Nós filtramos as observações do modelo antigo, usando um modelo de espaço de estado [decaimento da velocidade constante] para a evolução do $\lambda_t$ para obter o estado filtrado $E(\lambda_t|Y_t)$ e sinalizamos uma anomalia / erro na frequência estimada de eventos de os dados de alimentação se $E(\lambda_t|Y_t) < y_t$ .

Essa abordagem funciona extraordinariamente bem na detecção de erros nas contagens estimadas de eventos durante o período de tempo inteiro $T$ , mas não tão bem se queremos fazer o mesmo por outro período $0 \leq t < \sigma$ where $\sigma < \frac{2}{3} T$ . Para contornar isso, decidimos que agora queremos mudar para usar a distribuição Binomial Negativa, de modo que assumimos agora $X_t\sim NB(r, p)$ e tenhamos:

$$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$$ em que o parâmetro $\lambda$ é agora substituída por $r$ e $p$. Isso deve ser fácil de implementar, mas estou tendo algumas dificuldades com a interpretação e, portanto, tenho algumas perguntas que gostaria que você ajudasse:

1. Podemos apenas definir $p = \lambda$ na distribuição binomial negativa? Se não, por que não?

2. Supondo que possamos definir $p = f(\lambda)$ onde $f$ é alguma função, como podemos definir corretamente $r$ (precisamos ajustar $r$ usando conjuntos de dados anteriores)?

3. Is $r$ dependente do número de eventos que esperamos ocorrer durante um determinado processo?

---

Adenda à extração de estimativas para $r$ ( $p$ ):

Estou ciente de que, se de fato tivéssemos esse problema revertido, e tivéssemos as contagens de eventos para cada processo, poderíamos adotar o estimador de probabilidade máxima de Para encontrar o máximo que usamos as derivadas parciais em relação a Esta equação não pode ser resolvida para r em forma fechada usando Newton ou mesmo EM. No entanto, este não é o caso nesta situação. Embora pudéssemosp N k 1 , k 2 , … , k N L ( r , p ) = N ∏ i = 1 P ( k i ; r , p ) , Γ ( r ) ) + N ∑ i = $r$ e . Obviamente, o estimador de probabilidade máxima só existe para amostras para as quais a variação da amostra é maior que a média da amostra, mas se esse fosse o caso, poderíamos definir a função de probabilidade para observações independentes distribuídas de forma idêntica como: partir da qual podemos escrever a função de probabilidade de log como: $p$$N$$k_1, k_2, \ldots, k_{N}$

$$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$$ $$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$$ $r$ e e configurá-los igual a zero: Configurando e definindo encontramos: $p$∂rl(R $$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$$ $\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$ $$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$$ usar os dados passados para obter uma estática e isso não é realmente qualquer uso como para o nosso processo, é preciso adaptar esses parâmetros no tempo, como fizemos usando Poisson. $r$$p$

A distribuição binomial negativa é muito semelhante ao modelo de probabilidade binomial. é aplicável quando as seguintes premissas (condições) são válidas 1) Qualquer experimento é realizado sob as mesmas condições até que um número fixo de sucessos, digamos C, seja alcançado 2) O resultado de cada experimento pode ser classificado em uma das duas categorias , sucesso ou fracasso 3) A probabilidade P de sucesso é a mesma para cada experimento 40.Cada experimento é independente de todos os outros. A primeira condição é o único fator de diferenciação chave entre binomial e binomial negativo

A distribuição de poisson pode ser uma aproximação razoável do binômio sob certas condições, como 1) A probabilidade de sucesso de cada tentativa é muito pequena. P -> 0 2) np = m (digamos) é finito A regra mais usada pelos estatísticos é que o poisson é uma boa aproximação do binômio quando n for igual ou maior que 20 ep for igual ou menor que 5 %