Quais são as correlações entre as variáveis independentes? Isso é menos importante para a previsão pura, mas se você deseja obter algumas informações inferenciais, é importante que as variáveis independentes não sejam correlacionadas. Normalmente, quando você usa regressão logística em um ambiente de negócios, as informações inferenciais sobre as variáveis usadas junto com uma boa previsão são o que as partes interessadas estão procurando.
Além disso, outro bom motivo para remover variáveis é a parcimônia do modelo. Algumas razões para isso são para fins de revisão interna, regulamentação legal e facilidade de implementação. Isso faz com que seja altamente desejável encontrar o menor conjunto de variáveis que fornece boas informações de negócios e boas previsões. Por exemplo, se você estiver desenvolvendo um modelo de crédito, todas as variáveis estão sujeitas a uma revisão legal, todas as variáveis precisam estar disponíveis e retornar valores imediatamente quando chamadas para obter o empréstimo, e as partes interessadas (que geralmente não são versadas na construção de modelos) tendem a para não querer olhar para modelos complicados carregados de variáveis.
Também pode ser útil tentar uma floresta aleatória para ter uma idéia da importância das variáveis e também para verificar o poder preditivo com e sem todas as variáveis.
Por fim, você deve ter um bom motivo para transformar uma variável. Lançar todas as transformações em uma variável até encontrar uma que ofereça o resultado desejado é uma boa maneira de obter um modelo de super ajuste que apresenta um desempenho ruim em novos dados.