Estou curioso para saber por que tratamos o GLMS adequado como se eles fossem algum problema especial de otimização. São eles? Parece-me que eles são apenas probabilidade máxima, e que anotamos a probabilidade e então ... nós a maximizamos! Então, por que usamos a pontuação de Fisher em vez de qualquer um dos inúmeros esquemas de otimização desenvolvidos na literatura matemática aplicada?
Respostas:
A pontuação de Fisher é apenas uma versão do método de Newton que é identificada com os GLMs, não há nada de especial nisso, exceto o fato de que a matriz de informações de Fisher é bastante fácil de encontrar para variáveis aleatórias na família exponencial. Ele também se vincula a muitos outros materiais de estatística matemática que tendem a surgir na mesma época e fornece uma boa intuição geométrica sobre o que exatamente as informações de Fisher significam.
Não há absolutamente nenhuma razão pela qual eu possa pensar em não usar outro otimizador, se você preferir; além disso, talvez seja necessário codificá-lo manualmente, em vez de usar um pacote pré-existente. Suspeito que qualquer forte ênfase na pontuação de Fisher seja uma combinação de (em ordem decrescente de peso) pedagogia, facilidade de derivação, viés histórico e síndrome do "não inventado aqui".
É histórico e pragmático; GLMs de engenharia reversa Nelder e Wedderburn, como o conjunto de modelos nos quais você pode encontrar o MLE usando a pontuação de Fisher (isto é, mínimos quadrados com pesos iterativos). O algoritmo veio antes dos modelos, pelo menos no caso geral.
Também vale lembrar que o IWLS era o que eles tinham disponível no início dos anos 70, portanto os GLMs eram uma classe importante de modelos para se conhecer. O fato de você poder maximizar as probabilidades do GLM de maneira confiável usando algoritmos do tipo Newton (eles geralmente têm MLEs exclusivos) também significava que programas como o GLIM poderiam ser usados por pessoas sem habilidades em otimização numérica.