Quando usar um GAM vs GLM

Sei que essa pode ser uma questão potencialmente ampla, mas fiquei imaginando se existem suposições generalizáveis que indicam o uso de um GAM (modelo aditivo generalizado) sobre um GLM (modelo linear generalizado)?

Alguém me disse recentemente que os GAMs devem ser usados apenas quando eu suponho que a estrutura de dados seja "aditiva", ou seja, espero que adições de x prevejam y. Outra pessoa apontou que um GAM faz um tipo diferente de análise de regressão que um GLM e que um GLM é preferido quando se pode assumir linearidade.

No passado, eu estava usando um GAM para dados ecológicos, por exemplo:

séries temporais contínuas
quando os dados não tinham uma forma linear
Eu tinha vários x para prever o meu y, que pensava ter alguma interação não linear que eu poderia visualizar usando "gráficos de superfície" junto com um teste estatístico

Obviamente, não compreendo muito bem o que um GAM faz diferente de um GLM. Acredito que seja um teste estatístico válido (e vejo um aumento no uso de GAMs, pelo menos em periódicos ecológicos), mas preciso saber melhor quando seu uso é indicado em outras análises de regressão.

regression generalized-linear-model gam

— mluerig
fonte

Os GAMs são usados quando o preditor linear depende linearmente de funções suaves desconhecidas de algumas variáveis do preditor.

— user2974951

A distinção é tremida, pois você pode representar covariáveis numéricas, por exemplo, por uma spline também em um GLM.

— Michael M

Embora a distinção seja embaçada, os gam's podem representar interações também da mesma forma que a adição estrita do glm, não sendo necessária, a grande diferença está na inferência: os gam precisam de métodos especiais, pois a estimativa não é feita por projeção, mas por suavização. O que isso implica na prática, eu não entendo.

— Kjetil b halvorsen

GLM

GAM.

\subset

$\subset$

— usεr11852 diz Reinstate Monic

Respostas:

$n$ $\sum_{i=1}^n \beta_i x_i$ $\sum_{i=1}^n \sum_{j=1}^q \beta_i \, s_j \left( x_i \right)$ $s_1(\cdot),\dots,s_q(\cdot)$ $q$ é a dimensão base. Ao combinar as funções básicas, os GAMs podem representar um grande número de relacionamentos funcionais (para isso, eles se baseiam na suposição de que o relacionamento verdadeiro provavelmente será suave, e não confuso). Eles são essencialmente uma extensão dos GLMs, mas são projetados de uma maneira que os torna particularmente úteis para descobrir efeitos não-lineares de covariáveis numéricas e para fazê-lo de maneira "automática" (do artigo original de Hastie e Tibshirani, eles têm o vantagem de ser completamente automático, ou seja, nenhum trabalho "detetive" é necessário por parte do estatístico ' ).

— matteo
fonte

Bem, mas como dito nos comentários, tudo isso também pode ser feito com o glm ... suspeito que a principal diferença seja pragmática. A implementação R no mgcvfaz um monte de coisas que você não pode fazer com glm, mas poderia ter sido feito nesse âmbito também ...

— b Kjetil Halvorsen

Sim, concordo com você, os GAMs são uma extensão dos GLMs. No entanto, a pergunta era sobre quando usar o GAM e quando usar o GLM, e me pareceu que o op significava formas "clássicas" de GLMs, que geralmente não incluem um conjunto de funções básicas como preditores e não são usadas para revelar / relação não-linear desconhecida aproximada.

— Matteo

obrigado - isso é útil. e sim, eu estava falando sobre MLG clássicos

— mluerig

@ matteo apenas mais duas coisas: i) o que exatamente você quer dizer com "o verdadeiro relacionamento provavelmente será suave, em vez de ondulado"? e ii) "particularmente útil para descobrir efeitos não lineares de covariáveis numéricas" - como descrever / quantificar a não linearidade (por exemplo, com mgcv)?

— precisa saber é

O verdadeiro relacionamento pode não ser realmente bom, no entanto, os GAMs geralmente controlam a complexidade do modelo, adicionando uma penalidade de "distorção" durante o processo de maximização de probabilidade (geralmente implementado como uma proporção do quadrado integrado da segunda derivada da função estimada). Efeitos não lineares de covariáveis numéricas significam que a influência de uma variável numérica específica na variável dependente pode, por exemplo, não aumentar / diminuir monotonicamente com o valor da variável, mas ter uma forma desconhecida, por exemplo, com máximos locais, mínimos, pontos de inflexão. ..

— Matteo

Eu enfatizaria que os GAMs são muito mais flexíveis que os GLMs e, portanto, precisam de mais cuidado em seu uso. Com maior poder vem maior responsabilidade.

Você menciona o uso deles em ecologia, o que eu também notei. Eu estava na Costa Rica e vi algum tipo de estudo em uma floresta tropical, onde alguns estudantes de pós-graduação jogaram alguns dados em um GAM e aceitaram seus smoothers de complexos malucos porque o software dizia isso. Foi bastante deprimente, exceto pelo fato bem-humorado / admirável de que eles incluíram rigorosamente uma nota de rodapé que documentava o fato de terem usado um GAM e os smoothers de alta ordem resultantes.

Você não precisa entender exatamente como os GAMs funcionam para usá-los, mas realmente precisa pensar nos seus dados, no problema em questão, na seleção automatizada de parâmetros do seu software, como pedidos mais suaves, suas escolhas (quais smoothers você especifica, interações, se um mais suave for justificado, etc.) e a plausibilidade de seus resultados.

Faça muitas plotagens e observe suas curvas de suavização. Eles enlouquecem em áreas com poucos dados? O que acontece quando você especifica uma suavidade de ordem baixa ou remove completamente a suavização? Um grau 7 é mais suave e realista para essa variável, é excessivamente adequado, apesar das garantias de que está validando cruzadamente suas escolhas? Você tem dados suficientes? É de alta qualidade ou barulhento?

Gosto de GAMS e acho que eles são subestimados na exploração de dados. Eles são simplesmente super flexíveis e, se você se permitir fazer ciência sem rigor, eles o levarão mais longe na região estatística do que os modelos mais simples, como os GLMs.

— Wayne
fonte

Eu imagino que faço o que esses alunos de pós-graduação costumam fazer: jogar meus dados em um gam e ficar deslumbrado com a forma como mgcvlida com meus dados. Tento ser parcimonioso com meus parâmetros e verifico quão bem os valores previstos correspondem aos meus dados. seus comentários são um bom lembrete para ser um pouco mais rigoroso - e, finalmente, obter o livro de simon woods!

— mluerig

Caramba, vou até o ponto de usar um mais suave para explorar uma variável e, em seguida, fixar os graus de liberdade em um valor baixo ou eliminar o suave e usar, digamos, um termo quadrado se o mais suave for basicamente quadrático. Um quadrático faz sentido para um efeito de idade, por exemplo.

— Wayne

@Wayne, eu vim aqui exatamente para obter uma resposta sobre exploração de dados em relação aos GAMs e vi que você apontou isso. Como você usa GAMs para exploração de dados? E como você decidiria se um GAM é necessário ou se um GLM seria suficiente. Faria sentido simplesmente executar um GAM simples no qual você executa a resposta e cada um dos preditores em potencial, traçar isso e ver se o relacionamento justifica um GAM (ou seja, relacionamento não linear e não monotônico)?

— Tilen

Não tenho reputação de simplesmente adicionar um comentário. Eu concordo totalmente com o comentário de Wayne: com maior poder vem uma maior responsabilidade . Os GAMs podem ser muito flexíveis e, muitas vezes, obtemos / vemos smoothers de complexos malucos . Recomendo fortemente aos pesquisadores que restrinjam os graus de liberdade (número de nós) das funções suaves e testem diferentes estruturas do modelo (interações / sem interações etc.).

Os GAMs podem ser considerados entre as abordagens orientadas por modelo (embora a borda seja difusa, eu incluiria GLM nesse grupo) e as abordagens orientadas a dados (por exemplo, Redes Neurais Artificiais ou Florestas Aleatórias que assumem efeitos de variáveis não lineares que interagem totalmente). De acordo, não concordo totalmente com Hastie e Tibshirani porque os GAMs ainda precisam de algum trabalho de detetive (espero que ninguém me mate por dizer isso).

De uma perspectiva ecológica, eu recomendaria usar o esquema do pacote R para evitar essas variáveis não confiáveis e complexas . Foi desenvolvido por Natalya Pya e Simon Wood e permite restringir as curvas suaves às formas desejadas (por exemplo, unimodal ou monotônica), mesmo para interações bidirecionais. Acho que o GLM se torna uma alternativa menor depois de restringir a forma das funções suaves, mas essa é apenas minha opinião pessoal.

Pya, N., Wood, SN, 2015. Modelos aditivos de forma restrita. Estado. Comput. 25 (3), 543–559. 10.1007 / s11222-013-9448-7

— Rafa_Mas
fonte