Como você seleciona variáveis ​​em um modelo de regressão?

A abordagem tradicional da seleção de variáveis ​​é encontrar variáveis ​​que mais contribuem para a previsão de uma nova resposta. Recentemente, aprendi de uma alternativa para isso. Na modelagem de variáveis ​​que determinam o efeito de um tratamento - como, por exemplo, em um ensaio clínico de um farmacêutico - diz-se que a variável interage qualitativamentecom tratamento se, deixando outras coisas fixas, uma mudança nessa variável pode criar uma mudança na qual o tratamento é mais eficaz. Essas variáveis ​​nem sempre são fortes preditores do efeito, mas podem ser importantes para um médico ao decidir sobre o tratamento para pacientes individuais. Em sua tese de doutorado, Lacey Gunter desenvolveu um método para selecionar essas variáveis ​​de interação qualitativa que poderiam ser perdidas por algoritmos que baseiam a seleção na previsão. Recentemente, trabalhei com ela na extensão desses métodos para outros modelos, incluindo regressão logística e modelos de regressão proporcional ao risco de Cox.

Eu tenho duas perguntas:

1. O que você acha do valor desses novos métodos?
2. No caso dos métodos tradicionais, qual abordagem você prefere? Critérios como testes AIC, BIC, Mallows Cp, F para inserir ou soltar variáveis ​​em etapas, para frente e para trás ...

O primeiro artigo foi publicado em Gunter, L., Zhu, J e Murphy, SA (2009). Seleção de variáveis ​​para interações qualitativas . Metodologia Estatística doi: 10, 1016 / j.stamet.2009.05.003.

O próximo artigo foi publicado em Gunter, L., Zhu, J. e Murphy, SA (2011). Seleção variável de interações qualitativas em medicina personalizada, controlando a taxa de erro familiar . Journal of Biopharmaceutical Statistics 21, 1063-1078.

O próximo apareceu em uma edição especial sobre seleção de variáveis ​​Gunter, L., Chernick, MR e Sun, J. (2011). Um método simples para seleção de variáveis ​​em regressão com relação à seleção de tratamento . Pakistan Journal of Statistics and Operations Research 7: 363-380.

Você pode encontrar os artigos nos sites da revista. Talvez você precise comprar o artigo. Talvez eu tenha os arquivos pdf desses artigos. Lacey e eu acabamos de concluir uma monografia sobre esse tópico, que será publicada como SpringerBrief ainda este ano.

1. Consulte Gelman e Hill, Análise de dados usando regressão e modelo multinível / hierárquico pág. 69, eles têm uma seção sobre seleção de modelo. Ela está usando uma abordagem baseada em perguntas que é completamente boa, mas em seu artigo ela precisa justificar por que ela incluiu o que fez no modelo. Assim como você disse: "Essas variáveis ​​nem sempre são fortes preditores do efeito, mas podem ser importantes para um médico ao decidir sobre o tratamento para pacientes individuais". portanto, desde que ela justifique por que esses preditores devem ser incluídos, tudo bem. Para mim, pessoalmente, prefiro esses métodos. Então aqui vem a minha resposta para 2.
2. Passo a passo, para a frente e para trás, acho que são caixas pretas. Ao executar um modelo nos três, você não chegará aos mesmos preditores. Portanto, em termos dos quais usar, eu não teria uma resposta clara. AIC ou BIC pode ser usado para comparar modelos.