Estou tentando entender o que é um modelo saturado. AFAIK é quando você tem tantos recursos quanto observações.
Podemos dizer que um modelo saturado é um caso especial de um modelo extremamente equipado demais?
Estou tentando entender o que é um modelo saturado. AFAIK é quando você tem tantos recursos quanto observações.
Podemos dizer que um modelo saturado é um caso especial de um modelo extremamente equipado demais?
Respostas:
@ Tomka está certo. Um modelo saturado se ajusta ao maior número possível de parâmetros para um determinado conjunto de preditores, mas se está super ajustado ou não depende do número de observações para cada padrão único de preditores. Suponha que você tenha um modelo linear com 100 observações de em e 100 em . Em seguida, o modelo está saturado, mas certamente não está ajustado demais. Mas se você tiver uma observação de para cada um de o modelo está saturado e um ajuste perfeito - sem dúvida um excesso de ajuste † .
Quando as pessoas falam sobre modelos saturados com tantos parâmetros quanto observações, como na página da Web vinculada e na publicação do CV, estão assumindo o contexto de uma observação para cada padrão preditivo. (Ou, às vezes, usando 'observação' de maneira diferente - são 100 indivíduos em uma tabela de contingência 2 × 2 100 observações de indivíduos ou 4 observações de frequências celulares?)
† Não tome "certamente" e "sem dúvida" literalmente, a propósito. É possível para o primeiro modelo que seja tão pequeno em comparação com você preveria melhor sem tentar estimar, e vice-versa para o segundo.