A regressão é muito mais ampla em propósito e escopo do que a classificação ou o aprendizado de máquina (no entanto, este último pode ser entendido). Há, no entanto, muita sobreposição.
Relacionamentos
Os relacionamentos analisados por regressão podem consistir em
Associação
Dependência
Causação
A classificação fornece informações sobre os dois primeiros, mas não fala sobre causalidade. Tanto a regressão quanto o aprendizado de máquina foram usados - algumas vezes com sucesso, muitas vezes com problemas - para tirar conclusões sobre a causalidade.
Objetivos da regressão
Para obter um resumo dos dados multivariados.
Anular o efeito de uma variável que pode confundir o problema.
Contribua para tentativas de análise causal.
Meça o tamanho de um efeito.
Tente descobrir uma lei matemática ou empírica.
Predição.
xx
(Depois de Mosteller e Tukey, Análise de dados e regressão, capítulo 12B.)
A classificação atinge quase nenhum desses propósitos. De maneiras limitadas, ele pode fornecer algum tipo de resumo (1) e ajudar na descoberta (5).
O aprendizado de máquina visa a previsão (6) quase que exclusivamente. A maioria das técnicas de aprendizado de máquina, variando de florestas aleatórias através de redes neurais a modelos de vetores, são opacas ao entendimento: elas especificamente não visam resumir dados (1), remover os efeitos de variáveis confusas (2 e 7) ou ajudar descobrimos regularidades que podem ser incorporadas em uma lei empírica (5).
Este post é uma pequena expansão de uma apresentação introdutória que fiz recentemente para um curso de semestre em regressão. Muito mais materiais sobre os objetivos e a prática da regressão estão disponíveis lá.