Escolhendo entre as regras de pontuação adequadas

A maioria dos recursos sobre regras de pontuação adequadas menciona várias regras de pontuação diferentes, como perda de log, pontuação de Brier ou pontuação esférica. No entanto, eles geralmente não dão muita orientação sobre as diferenças entre eles. (Anexo A: Wikipedia .)

Escolher o modelo que maximiza a pontuação logarítmica corresponde à escolha do modelo de máxima verossimilhança, o que parece ser um bom argumento para usar a pontuação logarítmica. Existem justificativas semelhantes para a pontuação Brier ou esférica ou outras regras de pontuação? Por que alguém usaria uma dessas, em vez da pontuação logarítmica?

Por que alguém usaria uma dessas, em vez da pontuação logarítmica?

Então, idealmente, sempre distinguimos ajustar um modelo de tomar uma decisão . Na metodologia bayesiana, a pontuação e a seleção de modelos sempre devem ser feitas usando a probabilidade marginal . Você então usa o modelo para fazer previsões probabilísticas e sua função de perda informa como agir sobre essas previsões.

Infelizmente, no mundo real, o desempenho computacional geralmente determina que conflitemos a seleção do modelo e a tomada de decisão e, portanto, usamos uma função de perda para ajustar-se aos nossos modelos. É aqui que a subjetividade na seleção de modelos se aproxima, porque você precisa adivinhar quanto tipos diferentes de erros custarão. O exemplo clássico é um diagnóstico de câncer: superestimar a probabilidade de câncer de alguém não é bom, mas subestimar é muito pior.

Como um aparte, se você estiver procurando orientação sobre como escolher uma regra de pontuação, também poderá procurar orientação sobre como escolher uma função de perda ou projetar uma função de utilidade, pois acho que a literatura sobre esses dois tópicos é muito mais volumoso.