Meu meteorologista é preciso?

Uma pergunta que me incomodou por algum tempo, que não sei como resolver:

Todos os dias, meu meteorologista oferece uma porcentagem de chance de chuva (vamos supor que seja calculado em 9000 dígitos e ele nunca repetiu um número). Todos os dias subsequentes, chove ou não chove.

Tenho anos de dados - chance pct vs chuva ou não. Dada a história desse meteorologista , se ele disser hoje à noite que a chance de chuva amanhã é X, então qual é o meu melhor palpite sobre qual é realmente a chance de chuva?

Com efeito, você está pensando em um modelo em que a verdadeira chance de chuva, p , é uma função da chance prevista q : p = p (q ). Cada vez que uma previsão é feita, você observa uma realização de um variável de Bernoulli com probabilidade p (q) de sucesso. Esta é uma configuração clássica de regressão logística se você deseja modelar a verdadeira chance como uma combinação linear de funções básicas f1 , f2 , ..., fk ; isto é, o modelo diz

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

com erros de iid e . Se você é agnóstico sobre a forma do relacionamento (embora o meteorologista seja bom, p (q) - q deve ser razoavelmente pequeno), considere usar um conjunto de splines para a base. O resultado, como sempre, consiste em estimativas dos coeficientes e uma estimativa da variação de e . Dada qualquer previsão futura q , basta conectar o valor ao modelo com os coeficientes estimados para obter uma resposta para sua pergunta (e usar a variação de e para construir um intervalo de previsão em torno dessa resposta, se desejar).

Essa estrutura é flexível o suficiente para incluir outros fatores, como a possibilidade de alterações na qualidade das previsões ao longo do tempo. Também permite testar hipóteses, como se p = q (que é o que o meteorologista afirma implicitamente).

A comparação da previsão de probabilidade para evento binário (ou variável aleatória discreta) pode ser feita mediante a pontuação de Brier

mas você também pode usar a curva ROC, pois qualquer previsão de probabilidade desse tipo pode ser transformada em um procedimento de discriminação com um limite variável. Na verdade, você pode dizer "choverá" se sua probabilidade for maior que e avaliar a descoberta perdida e falsa, verdadeira descoberta e verdadeiros negativos para diferentes valores de .$\tau$$\tau$

Você deve dar uma olhada em como o centro europeu de previsão meteorológica de médio alcance ( ECMWF ).

Quando a previsão indica "X% de chance de chuva em (área)", significa que o modelo numérico do tempo indicou chuva em X% da área, para o intervalo de tempo em questão. Por exemplo, normalmente seria preciso prever "100% de chance de chuva na América do Norte". Lembre-se de que os modelos são bons em prever dinâmicas e ruins em prever termodinâmica.

A abordagem Brier Score é muito simples e a maneira mais diretamente aplicável de verificar a precisão de um resultado previsto versus um evento binário.

Não confie apenas em fórmulas ... plote as pontuações para diferentes períodos de tempo, dados, erros, média ponderada dos dados, erros ... é difícil dizer o que a análise visual pode revelar ... depois de pensar se você vir alguma coisa, saberá melhor que tipo de teste de hipótese executar até DEPOIS de analisar os dados.

O Brier Score inerentemente assume a estabilidade das variações / distribuições subjacentes do tempo e da tecnologia que dirigem os modelos de previsão, falta de linearidade, sem viés, falta de mudança de viés ... assume que o mesmo nível geral de precisão / imprecisão é consistente. À medida que o clima muda de maneiras que ainda não são compreendidas, a precisão das previsões do tempo diminui; por outro lado, os cientistas que fornecem informações ao meteorologista têm mais recursos, modelos mais completos, mais poder computacional, de modo que talvez a precisão das previsões aumente. Observar os erros revelaria algo sobre estabilidade, linearidade e viés das previsões ... talvez você não tenha dados suficientes para ver tendências; você pode aprender que estabilidade, linearidade e viés não são um problema. Você pode aprender que as previsões do tempo estão ficando mais precisas ... ou não.

Que tal apenas classificar as previsões fornecidas e usar as frações observadas como sua estimativa para cada categoria?

Você pode generalizar isso para um modelo contínuo pesando todas as observações em torno do seu valor de interesse (digamos a previsão para amanhã) por um gaussiano e vendo qual é a média ponderada.

Você pode adivinhar uma largura para obter uma determinada fração de seus dados (ou, digamos, nunca menos de 100 pontos para uma boa estimativa). Como alternativa, use um método como a validação cruzada da probabilidade máxima para obter a largura gaussiana.

Deseja saber se a previsão dele é mais precisa do que outra previsão? Nesse caso, é possível analisar métricas básicas de precisão para classificação probabilística, como entropia cruzada, precisão / recuperação, curvas ROC e a pontuação f1.

Determinar se a previsão é objetivamente boa é uma questão diferente. Uma opção é olhar para a calibração. De todos os dias em que ele disse que haveria 90% de chance de chuva, cerca de 90% desses dias teve chuva? Pegue todos os dias em que ele tem uma previsão e depois os avalie pela estimativa da probabilidade de chuva. Para cada balde, calcule a porcentagem de dias em que a chuva realmente ocorreu. Então, para cada balde, plote a probabilidade real de chuva contra sua estimativa para a probabilidade de chuva. O gráfico parecerá uma linha reta se a previsão estiver bem calibrada.