Recursos para aprender sobre técnicas de múltiplos alvos?

Estou procurando recursos (livros, anotações de aula etc.) sobre técnicas que podem lidar com dados que têm vários destinos (Ex: três variáveis ​​dependentes: 2 discretas e 1 contínua).

Alguém tem algum recurso / conhecimento sobre isso? Eu sei que é possível usar redes neurais para isso.

A floresta aleatória lida com isso muito bem, consulte Uma floresta aleatória com várias saídas seria possível / prática? ou a documentação do scikit learn . Eu acho que o GBM ou qualquer método baseado em árvore pode ser adaptado de maneira semelhante.

De maneira mais geral, quando você executa um algoritmo de aprendizado que minimiza uma pontuação, geralmente trabalha em minimizar que é unidimensional. Mas você pode especificar qualquer função de destino. Se você estivesse trabalhando na previsão de posição (bidimensional), seria uma boa métrica.$\sum_i(p_i-y_i)^2$$\sum_i(\hat{y}_i-y_i)^2+(\hat{x}_i-x_i)^2$

Se você tiver uma saída de tipo misto (classificação e regressão), a especificação da função de destino provavelmente exigirá que você especifique uma função de destino que dê mais peso a alguns destinos do que outros: qual escala você aplica a respostas contínuas? Que perda você aplica a classificações erradas?

Quanto à leitura acadêmica adicional,

Wikipedia do SVM Structured Learning

Alavancagem simultânea de estruturas de saída e tarefa para regressão de saída múltipla

O método de seleção de pontos de referência para previsão de saída múltipla (lida com variáveis ​​dependentes de alta dimensão)

Este documento descreve bem os métodos atuais, kits de ferramentas disponíveis e conjuntos de dados para testar.

Por acaso, trabalhei em um problema comercial que requer regressão de vários destinos e descobri que o kit de ferramentas Clus tem uma boa combinação de alto desempenho e robustez

• A documentação é excelente
• O kit de ferramentas possui vários métodos para classificação e regressão multi-alvo
• Ele também suporta indução e clustering baseados em regras.
• Os modelos de ensemble (Bagging, RandomForest) que eu usei podem ser lidos e interpretados facilmente.

Alguns dos métodos mais recentes (pós-2012) foram implementados como uma extensão do kit de ferramentas Mulan, aqui está o link do Github . Embora esses métodos, como as combinações lineares aleatórias de alvos, relatem um desempenho melhor do que os modelos de conjunto, descobri que o kit de ferramentas não era tão maduro quanto o kit de ferramentas Clus e, portanto, não os usava.

Uma abordagem bayesiana sobre esse tipo de problema: modelos não paramétricos bayesianos para dados espacialmente indexados de tipo misto . O elemento de resposta múltipla sendo manipulado por vários vetores aleatórios normalmente distribuídos e funções de ligação dos mesmos. Para que a resposta completa seja uma pilha de um vetor de normais, vetor de contagens e vetor de bernoullis.