Como encontrar estimativas de probabilidade máxima de um parâmetro inteiro?

HW Pergunta :

$x_1,x_2,\ldots,x_n$ são variáveis ​​gaussianas independentes com média e variância . Defina que é desconhecido. Estamos interessados ​​na estimação de partir de .$\mu$$\sigma^2$$y = \sum_{n=1}^{N} x_n$$N$$N$$y$

uma. Dado determine seu viés e variação.$\hat N_1 = y/\mu$

b. Dado determine seu viés e variância.$\hat N_2 = y^2/\sigma^2$

Ignorando o requisito de ser um número inteiro$N$

c. Existe um estimador eficiente (observe e )?$\mu = 0$$\mu \ne 0$

d. Encontre a estimativa de probabilidade máxima de partir de .$N$$y$

e Encontre CRLB de partir de .$N$$y$

f. O erro quadrático médio dos estimadores atinge CRLB quando ?$\hat N_1,\hat N_2$$N\to \infty$

Se alguém pudesse me direcionar para a solução do seguinte problema, seria ótimo.

Obrigado,

Nadav

Você começou bem escrevendo uma expressão para a probabilidade. É mais simples reconhecer que sendo a soma das variáveis independentes normais , tem uma distribuição Normal com média e variância onde sua probabilidade é$Y,$$N$$(\mu,\sigma^2)$$N\mu$$N\sigma^2,$

$$\mathcal{L}(y,N) = \frac{1}{\sqrt{2\pi N\sigma^2}} \exp\left(-\frac{(y-N\mu)^2}{2N\sigma^2}\right).$$

Vamos trabalhar com seu logaritmo negativo cujos mínimos correspondem aos máximos da probabilidade:$\Lambda = -\log \mathcal{L},$

$$2\Lambda(N) = \log(2\pi) + \log(\sigma^2) + \log(N) + \frac{(y-N\mu)^2}{N\sigma^2}.$$

Precisamos encontrar todos os números inteiros que minimizem essa expressão. Finja por um momento que pode ser qualquer número real positivo. Como tal, é uma função continuamente diferenciável de com derivada$N$$2\Lambda$$N$

$$\frac{d}{dN} 2\Lambda(N) = \frac{1}{N} - \frac{(y-N\mu)^2}{\sigma^2N^2} - \frac{2\mu(y-N\mu)}{N\sigma^2}.$$

Equacione isso a zero para procurar pontos críticos, limpe os denominadores e faça um pouco de álgebra para simplificar o resultado, fornecendo

$$\mu^2 N^2 + \sigma^2 N -y^2 = 0\tag{1}$$

com uma solução positiva única (quando )$\mu\ne 0$

$$\hat N = \frac{1}{2\mu^2}\left(-\sigma^2 + \sqrt{\sigma^4 + 4\mu^2 y^2}\right).$$

É simples verificar se, à medida que aproxima de ou cresce, cresce, então sabemos que não há um mínimo global próximo de nem próximo de Isso deixa apenas o ponto crítico que encontramos, que, portanto, deve ser o mínimo global. Além disso, deve diminuir à medida que é abordado de baixo ou de cima. Portanto,$N$$0$$2\Lambda(N)$$N\approx 0$$N\approx \infty.$$2\Lambda$$\hat N$

Os mínimos globais de devem estar entre os dois números inteiros em ambos os lados de$\Lambda$$\hat N.$

Isso fornece um procedimento eficaz para encontrar o estimador de Máxima Verossimilhança: é o piso ou o teto de (ou, ocasionalmente, os dois !), Então calcule e simplesmente escolha qual desses números inteiros gera menor.$\hat N$$\hat N$$2\Lambda$

Vamos fazer uma pausa para verificar se esse resultado faz sentido. Em duas situações, há uma solução intuitiva:

1. Quando é muito maior que , estará próximo de onde uma estimativa decente de seria simplesmente Nesses casos, podemos aproximar o MLE negligenciando dando (conforme o esperado)$\mu$$\sigma$$Y$$\mu,$$N$$|Y/\mu|.$$\sigma^2,$

   $$\hat N = \frac{1}{2\mu^2}\left(-\sigma^2 + \sqrt{\sigma^4 + 4\mu^2 y^2}\right) \approx \frac{1}{2\mu^2}\sqrt{4\mu^2 y^2} = \left|\frac{y}{\mu}\right|.$$

2. Quando é muito maior que pode se espalhar por todo o lugar, mas, em média, deve estar próximo de onde uma estimativa intuitiva de seria simplesmente De fato, negligenciar na equação fornece a solução esperada$\sigma$$\mu,$ $Y$ $Y^2$$\sigma^2,$$N$$y^2/\sigma^2.$$\mu$$(1)$

   $$\hat N \approx \frac{y^2}{\sigma^2}.$$

Nos dois casos, o MLE está de acordo com a intuição, indicando que provavelmente o resolvemos corretamente. As situações interessantes , então, ocorrem quando e são de tamanhos comparáveis. A intuição pode ser de pouca ajuda aqui.$\mu$$\sigma$

---

Para explorar isso ainda mais, simulei três situações em que é ou Não importa o que seja (desde que não seja zero), Em cada situação um aleatório para os casos fazendo isso independentemente cinco mil vezes.$\sigma/\mu$$1/3,$ $1,$$3.$$\mu$$\mu=1.$$Y$$N=2,4,8,16,$

Estes histogramas resumir os mleS de . As linhas verticais marcam os verdadeiros valores de .$N$$N$

Em média, o MLE parece estar quase certo. Quando é relativamente pequeno, o MLE tende a ser preciso: é o que indicam os histogramas estreitos na linha superior. Quando o MLE é bastante incerto. Quando o MLE geralmente pode ser e algumas vezes pode ser várias vezes (especialmente quando é pequeno). Essas observações estão de acordo com o que foi previsto na análise intuitiva anterior.$\sigma$$\sigma \approx |\mu|,$$\sigma \gg |\mu|,$$\hat N=1$$N$$N$

---

A chave para a simulação é implementar o MLE. Requer a resolução e a avaliação de para determinados valores de e A única nova idéia refletida aqui é verificar os números inteiros em ambos os lados de As duas últimas linhas da função realizam esse cálculo, com a ajuda de avaliar a probabilidade do log.$(1)$$\Lambda$$Y,$ $\mu,$$\sigma.$$\hat N.$flambda

lambda <- Vectorize(function(y, N, mu, sigma) {
  (log(N) + (y-mu*N)^2 / (N * sigma^2))/2
}, "N") # The negative log likelihood (without additive constant terms)

f <- function(y, mu, sigma) {
  if (mu==0) {
    N.hat <- y^2 / sigma^2
  } else {
    N.hat <- (sqrt(sigma^4 + 4*mu^2*y^2) - sigma^2) / (2*mu^2)
  }
  N.hat <- c(floor(N.hat), ceiling(N.hat))
  q <- lambda(y, N.hat, mu, sigma)
  N.hat[which.min(q)]
} # The ML estimator

O método que whuber usou em sua excelente resposta é um "truque" comum de otimização que envolve estender a função de probabilidade para permitir valores reais de e, em seguida, usar a concavidade da probabilidade de log para mostrar que o valor discreto de maximização é um dos fatores. valores discretos em ambos os lados de um ótimo contínuo. Esse é um método comumente usado em problemas discretos de MLE que envolvem uma função de verossimilhança côncava. Seu valor reside no fato de que geralmente é possível obter uma expressão simples de forma fechada para os ótimos contínuos.$N$

Para completar, nesta resposta, mostrarei um método alternativo, que usa cálculo discreto usando o operador de diferença para a frente . A função de probabilidade de log para esse problema é a função discreta:

$$\ell_y(N) = -\frac{1}{2} \Bigg[ \ln (2 \pi) + \ln (\sigma^2) + \ln (N) + \frac{(y-N\mu)^2}{N\sigma^2} \Bigg] \quad \quad \quad \text{for } N \in \mathbb{N}.$$

A primeira diferença para a frente da probabilidade de log é:

$$\begin{equation} \begin{aligned} \Delta \ell_y(N) &= -\frac{1}{2} \Bigg[ \ln (N+1) - \ln (N) + \frac{(y-N\mu - \mu)^2}{(N+1)\sigma^2} - \frac{(y-N\mu)^2}{N\sigma^2} \Bigg] \\[6pt] &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+1}{N} \Big) + \frac{N(y-N\mu - \mu)^2 - (N+1)(y-N\mu)^2}{N(N+1)\sigma^2} \Bigg] \\[6pt] &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+1}{N} \Big) + \frac{[N(y-N\mu)^2 -2N(y-N\mu) \mu + N \mu^2] - [N(y-N\mu)^2 + (y-N\mu)^2]}{N(N+1)\sigma^2} \Bigg] \\[6pt] &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+1}{N} \Big) - \frac{(y + N \mu)(y-N\mu) - N \mu^2}{N(N+1)\sigma^2} \Bigg]. \\[6pt] \end{aligned} \end{equation}$$

Com um pouco de álgebra, a segunda diferença de avanço pode ser mostrada como:

$$\begin{equation} \begin{aligned} \Delta^2 \ell_y(N) &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+2}{N} \Big) + \frac{2 N (N+1) \mu^2 + 2(y + N \mu)(y-N\mu)}{N(N+1)(N+2)\sigma^2} \Bigg] < 0. \\[6pt] \end{aligned} \end{equation}$$

Isso mostra que a função log-verossimilhança é côncava, portanto, seu menor ponto de maximização $\hat{N}$ será:

$$\begin{equation} \begin{aligned} \hat{N} &= \min \{ N \in \mathbb{N} | \Delta \ell_y(N) \leqslant 0 \} \\[6pt] &= \min \Big\{ N \in \mathbb{N} \Big| \ln \Big( \frac{N+1}{N} \Big) \geqslant \frac{(y + N \mu)(y-N\mu) - N \mu^2}{N(N+1)\sigma^2} \Big\}. \end{aligned} \end{equation}$$

(O próximo valor também será um ponto de maximização se e somente se $\Delta \ell_y(\hat{N}) = 0$.) O MLE (o menor ou o conjunto inteiro) pode ser programado como uma função por meio de um whileloop simples , e isso deve ser capaz de fornecer a solução rapidamente. Vou deixar a parte de programação como um exercício.

Comentário: Aqui está uma breve simulação em R para$\mu = 50, \sigma = 3,$ que deve ser preciso em 2 ou três lugares, aproximando a média e o DP de $Y.$ Você deve conseguir encontrar $E(Y)$ e $Var(Y)$ por métodos analíticos elementares, conforme indicado no meu comentário anterior. Se tivéssemos$N = 100$ então $E(\hat N)$ parece imparcial para $N.$

N = 100;  mu = 50;  sg = 3
y = replicate( 10^6, sum(rnorm(N, mu, sg))/mu )
mean(y);  sd(y)
[1] 99.99997
[1] 0.6001208
N.est = round(y);  mean(N.est);  sd(N.est)
[1] 99.9998
[1] 0.6649131