Como medir a precisão da previsão probabilística?

Suponha que eu faça um monte de previsões probabilísticas como:

70% de probabilidade de que o crescimento das vendas seja de 10 a 15% no primeiro trimestre, 10% de probabilidade de que o crescimento de vendas seja> 15%, 20% de probabilidade de que o crescimento de vendas seja <10%

Dados os dados reais, qual é a melhor maneira de medir ou rastrear minha precisão? Pontuação Brier?

E posso calcular a média da minha pontuação Brier para diferentes tipos de previsão? (por exemplo, encontre a pontuação mais alta para a previsão "há 80% de chance de chuva" e calcule a média com a previsão de crescimento de vendas)

forecasting scoring-rules

— Emile
fonte

Eu hesitaria em usar a pontuação Brier para resultados ordinais com mais de 3 categorias, como aqui onde as vendas podem ser classificadas como baixa / média / alta. A pontuação Brier trata cada resultado como equidistante dos outros.

— robertf

Seus dados são inerentemente ordinais, como @RobertF parece assumir? Nesse caso, isso adiciona complexidade, como ele escreve, e seria bom se você pudesse editar isso em sua postagem. Caso contrário, você pode usar regras de pontuação adequadas , como o Brier ou outros. E sim, você pode calculá-las.

— precisa saber é o seguinte

Acredito que meu exemplo usa dados ordinais, mas não entendo o que você quer dizer com "inerentemente ordinal". No entanto, eu poderia mudar minha previsão para ser apenas um crescimento de vendas de 12%. Nesse caso, eu usaria algo como o MAE? Mas a razão pela qual incluí as probabilidades é levar em conta a variabilidade e os eventos raros. Por exemplo, o crescimento esperado de vendas da minha previsão pode ser de 12%, mas pode haver uma pequena probabilidade de crescimento negativo de vendas. Embora seja improvável que isso aconteça, pode ser valioso saber a probabilidade de crescimento negativo das vendas. Então, eu quero refletir isso de alguma forma na minha previsão.

— Emile

Por "inerentemente ordinal", eu quis dizer se o seu problema subjacente é ordinal ou se o exemplo que você usou acabou de ser ordinal. Aparentemente, é o primeiro.

— precisa saber é o seguinte

Seu comentário soa como se você estivesse realmente procurando uma previsão de densidade, em vez de uma previsão pontual, ou seja, deseja prever a distribuição de probabilidade completa dos resultados futuros. Esta é uma ideia muito boa. A previsão de densidade é comum em previsões financeiras ou econométricas, mas, infelizmente, raramente é tratada em outros livros e cursos de previsão. Tay e Wallis (2000, Journal of Forecasting ) fornecem uma pesquisa inicial útil.

A maneira mais comum de avaliar previsões de densidade usa a Probability Integral Transform (PIT). A referência canônica é Diebold, Gunther & Tay (1998, International Economic Review ) . Berkowitz (2001, Journal of Business & Economic Statistics ) e Bao, Lee & Saltoglu (2007, Journal of Forecasting ) fornecem alternativas.

Recentemente, aumentou o interesse em regras (apropriadas) de pontuação , como a pontuação Brier que você mencionou. A literatura inclui Mitchell & Wallis (2011, Jornal de Econometria Aplicada ) e Gneiting, Balabdaoui & Raftery (2007, JRSS-B ) .

Finalmente, Gneiting & Katzfuss (2014, Revisão Anual de Estatística e sua Aplicação ) fornece uma visão geral mais recente da previsão de densidade (ou probabilística), concentrando-se novamente nas regras de pontuação.

— Stephan Kolassa
fonte

Você poderia explicar, em termos leigos, o método mais apropriado para fazer uma previsão de densidade e as regras de pontuação mais adequadas para o meu exemplo. Ou você pode apontar para um artigo / livro. Acho que o que estou pedindo é uma receita: etapas para fazer uma previsão probabilística de densidade, depois outras para avaliar a precisão de previsões individuais e / ou múltiplas. E, idealmente, eu posso fazer o cálculo em uma calculadora comum (sem software especializado). Se alguma integral é necessária, que tipo de aproximação posso fazer para simplificar a equação. Procurando algo que eu possa fazer "atrás do envelope".

— Emile

Eu adoraria ler esses papéis, mas francamente eles estão acima da minha cabeça.

— Emile

Ah Eu recomendo que você procure um livro de previsão padrão, por exemplo, Ord & Fildes, Principles of Business Forecasting , seção 5.2 e outros, onde os intervalos de previsão são calculados usando uma abordagem de distribuição normal. Hyndman e Athanosopoulos infelizmente não cobrem a previsão de densidade. Quanto às regras de pontuação, eu realmente não acho que exista uma "melhor" clara no seu caso - basta escolher uma que você possa implementar facilmente. No entanto, você provavelmente vai em tabelas de distribuição normais menos necessidade, por isso seria bom se você olhou para R ....

— Stephan Kolassa

... Hyndman e Athanasopoulos fazem tudo com R, então o livro deles serve como uma boa introdução à previsão usando R. Boa sorte!

— precisa saber é o seguinte