Estou tentando obter uma perspectiva global de algumas das idéias essenciais do aprendizado de máquina, e fiquei imaginando se existe um tratamento abrangente das diferentes noções de perda (quadrado, log, dobradiça, proxy, etc.). Eu estava pensando em algo como uma apresentação formal mais abrangente do excelente post de John Langford sobre Semântica de funções de perda .
Respostas:
O tutorial sobre aprendizagem baseada em energia de LeCun et al. pode fazer uma boa parte do caminho até lá. Eles descrevem várias funções de perda e discutem o que as torna "boas ou ruins" para modelos baseados em energia.
A função de perda é dada pelo problema. Poderia ser qualquer coisa. Por exemplo, você também pode penalizar o tempo e o espaço da CPU usada.
No aprendizado por reforço, a função de perda é uma função não determinística desconhecida. Você não pode redefini-lo sem alterar o problema.
Eu sei que essa pergunta é meio datada, mas é algo que atualmente me interessa.
Um artigo muito bom sobre o tema das funções de perda convexa e consistência do classificador é " Comportamento Estatístico e Consistência dos Métodos de Classificação Baseados na Minimização Convexa de Riscos ", de Tong Zhang.