Estou construindo uma ferramenta de previsão interativa (em python) como uma ajuda à previsão feita em minha organização. Até a presente data, o processo de previsão foi em grande parte orientado para o ser humano, com os meteorologistas assimilando os dados em suas redes neurais naturais e usando sua intuição aprendida para fazer previsões. De um estudo de verificação de previsão a longo prazo e de modelagem preditiva que fiz, descobri o que você poderia esperar; previsores diferentes exibem vieses diferentes, os efeitos de alguns preditores parecem ser exagerados e outros importantes parecem ser ignorados e, em geral, o desempenho da previsão é medíocre em comparação com modelos empíricos relativamente simples.
As previsões continuarão sendo manuais, mas estou tentando criar uma ferramenta útil para fornecer aos meteorologistas uma melhor quantificação dos efeitos relativos dos preditores. Também existem efeitos importantes, como influências sazonais que geralmente são negligenciadas, que eu gostaria que a ferramenta destacasse para o usuário. Estou esperando um certo grau de reação e ceticismo sobre o processo de modelagem de alguns dos analistas mais 'experientes' (muitos dos quais têm pouco conhecimento formal de estatística), para que a comunicação seja pelo menos tão importante quanto o desempenho do modelo em termos de alcançar uma melhoria mensurável na precisão da previsão.
Os modelos que estou desenvolvendo têm um forte componente auto-regressivo que às vezes é modificado significativamente por eventos que aparecem como valores medidos em alguns preditores que são, durante períodos sem eventos, próximos a zero. Isso está de acordo com o modelo mental que os analistas usam. A parte principal é ser capaz de demonstrar quais das medidas de 'evento' são mais influentes para afastar a previsão do valor de regressão automática para qualquer previsão. Estou imaginando o processo dessa maneira; o previsor adivinha seu melhor valor de estimativa, o modelo sugere um valor diferente e o previsor pergunta o porquê. O modelo responde algo como "veja aqui, esse valor desse preditor aumenta o valor previsto no verão. Se fosse inverno, ele se moveria para o outro lado. Sei que existem outras medidas,
Agora, imagine que o modelo fosse uma regressão linear simples. Pode-se imaginar exibindo o "efeito" relativo dos preditores baseados em eventos multiplicando o valor pelo modelo co-eficiente e exibindo como um gráfico de barras simples. Todas as barras dos diferentes preditores somam o desvio total do valor de RA, e isso mostra de maneira sucinta e clara as que, neste caso, estão tendo uma forte influência.
O problema é que o processo que está sendo projetado exibe um alto grau de não linearidade nos preditores, ou pelo menos, tive muito mais sucesso com algoritmos de aprendizado de máquina não lineares de caixa preta (floresta aleatória e GBM) do que com GLMs para esse conjunto de dados. Idealmente, eu gostaria de poder alterar perfeitamente o modelo funcionando 'sob o capô' sem que a experiência do usuário seja alterada, por isso preciso de uma maneira genérica de demonstrar de maneira simples a importância das diferentes medidas sem usar alguma abordagem específica do algoritmo. Minha abordagem atual será quase linearizar os efeitos, definindo todos os valores como zero, exceto um preditor, registre o desvio previsto e repita para todos os preditores, exibindo os resultados no gráfico de barras mencionado acima. Na presença de forte não linearidade, isso pode não funcionar tão bem.