Você pode dar uma explicação intuitiva simples do método IRLS para encontrar o MLE de um GLM?

Fundo:

Estou tentando seguir a revisão de Princeton sobre a estimativa de MLE para GLM .

I compreender os conceitos básicos de estimativa MLE: likelihood, score, observado e esperado Fisher informationea Fisher scoringtécnica. E eu sei como justificar a regressão linear simples com a estimativa do MLE .

---

A questão:

Não consigo entender nem a primeira linha desse método :(

Qual é a intuição por trás da $z_i$ variáveis de trabalho definido como:

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

Por que eles são usados ​​em vez de $y_i$ para estimar $\beta$ ?

E qual é a relação deles com a response/link functionqual é a conexão entre $\eta$ e $\mu$

Se alguém tiver uma explicação simples ou puder me direcionar para um texto de nível mais básico sobre isso, ficaria grato.

Alguns anos atrás, escrevi um artigo sobre isso para meus alunos (em espanhol), para tentar reescrever essas explicações aqui. Examinarei o IRLS (mínimos quadrados ponderados iterativamente) através de uma série de exemplos de crescente complexidade. Para o primeiro exemplo, precisamos do conceito de uma família em escala de localização. Seja $f_0$ uma função de densidade centrada em zero em algum sentido. Podemos construir uma família de densidades definindo

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ onde$\sigma > 0$é um parâmetro de escala e$\mu$é um parâmetro de localização. No modelo de erro de medição, onde normalmente o termo de erro é modelado como uma distribuição normal, podemos no lugar dessa distribuição normal usar uma família de escala de localização, conforme construído acima. Quando$f_0$é a distribuição normal padrão, a construção acima fornece a família$\text{N}(\mu, \sigma)$.

Agora vamos usar o IRLS em alguns exemplos simples. Primeiro, vamos encontrar os estimadores de ML (máxima verossimilhança) no modelo com a densidade f ( y ) =

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ a distribuição de Cauchy a família localização μ (de modo que este é um local família). Mas primeiro alguma notação. O estimador de mínimos quadrados ponderados de μ é dado por μ ∗ = ∑ n i = 1 w i y $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ $\mu$$\mu$ Ondewié alguns pesos. Vamos ver que o estimador de MLμpode ser expressa sob a mesma forma, com awialguma função dos resíduos £i=yi - μ . A função de verossimilhança é dada por L(y;μ)=( $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ $w_i$$\mu$$w_i$ $$\epsilon_i = y_i-\hat{\mu}.$$ e a função de probabilidade de logaritmo é dada por l(y)=-nlog(π)- n ∑ i=1log(1+(yi-μ)2). Sua derivada em relação aμé ∂ l ( y $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ $\mu$ onde ϵi=yi-μ. Escrevaf0(ϵ)= $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$ ef ' 0 (ε)=$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$ , obtemos f ′ 0 (ϵ$f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$ Encontramos ∂ l ( y $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ em que foi utilizada a definição wi= f ' 0 ( ε i $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ Remembering that $\epsilon_i=y_i-\mu$ we obtain the equation $$\sum w_i y_i = \mu \sum w_i,$$ que é a equação de estimativa do IRLS. Observe que

1. Os pesos $w_i$ são sempre positivos.
2. Se o resíduo for grande, atribuímos menos peso à observação correspondente.

Para calcular o estimador de ML na prática, precisamos de um valor inicial $\hat{\mu}^{(0)}$, poderíamos usar a mediana, por exemplo. Usando esse valor, calculamos resíduos

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ e pesos $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ O novo valor de $\hat{\mu}$ É dado por $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ Continuando dessa maneira, definimos $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ e $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ O valor estimado no passe $j+1$ do algoritmo se torna $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ Continuando até a sequência $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$ converge.

Agora estudamos esse processo com uma localização mais geral e uma família de escalas, $f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$, com menos detalhes. Deixei$Y_1,Y_2,\ldots,Y_n$seja independente da densidade acima. Definir também$\epsilon_i=\frac{y_i-\mu}{\sigma}$. A função loglikelihood é

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ Escrevendo $\nu=\sigma^2$, Observe que $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ e $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ Cálculo da derivada de probabilidade de log $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ e igualar esse valor a zero fornece a mesma equação de estimativa do primeiro exemplo. Em seguida, procure um estimador para$\sigma^2$: $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ levando ao estimador $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$ O algoritmo iterativo acima também pode ser usado neste caso.

A seguir, apresentamos um exame numérico usando R, para o modelo exponencial duplo (com escala conhecida) e com dados y <- c(-5,-1,0,1,5). Para esses dados, o valor verdadeiro do estimador de ML é 0. O valor inicial será mu <- 0.5. Uma passagem do algoritmo é

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

Com esta função, você pode experimentar fazer as iterações "manualmente". Em seguida, o algoritmo iterativo pode ser feito por

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

Exercício: Se o modelo é um $t_k$ distribuição com parâmetro de escala $\sigma$ mostre que as iterações são dadas pelo peso

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ Exercício: Se a densidade for logística, mostre que os pesos são dados por $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

Por enquanto, deixarei aqui, continuarei este post.