Sobre George Box, Galit Shmueli e o método científico?

(Essa pergunta pode parecer mais adequada para o Philosophy SE. Espero que os estatísticos possam esclarecer meus equívocos sobre as declarações de Box e Shmueli, por isso estou publicando aqui).

George Box (da fama do ARIMA) disse:

"Todos os modelos estão errados, mas alguns são úteis."

Galit Shmueli, em seu famoso artigo "Explicar ou prever" , argumenta (e cita outros que concordam com ela) que:

Explicar e prever não são os mesmos, e que alguns modelos fazem um bom trabalho de explicação, mesmo que façam um mau trabalho na previsão.

Eu sinto que esses princípios são de alguma forma contraditórios.

Se um modelo não prevê bem, é útil?

Mais importante, se um modelo explica bem (mas não necessariamente prevê bem), então deve ser verdade (isto é, não errado) de uma maneira ou de outra. Então, como isso se encaixa nos "todos os modelos estão errados" da Box?

Finalmente, se um modelo explica bem, mas não prevê bem, como é mesmo científico? A maioria dos critérios de demarcação científica (verificacionismo, falsificacionismo, etc ...) implica que uma afirmação científica precisa ter poder preditivo ou coloquialmente: uma teoria ou modelo está correto somente se puder ser empiricamente testado (ou falsificado), o que significa que precisa prever resultados futuros.

Minhas perguntas:

• A afirmação de Box e as idéias de Shmueli são realmente contraditórias ou estou faltando alguma coisa, por exemplo, um modelo não pode ter poder preditivo e ainda assim ser útil?
• Se as afirmações de Box e Shmueli não são contraditórias, o que significa um modelo estar errado e não prever bem, mas ainda assim ter poder explicativo? Em outras palavras: se alguém tira a correção e a capacidade preditiva, o que resta de um modelo?

Quais validações empíricas são possíveis quando um modelo tem poder explicativo, mas não poder preditivo? Shmueli menciona coisas como: use o AIC para explicação e o BIC para previsão, etc, ... mas não vejo como isso resolve o problema. Com modelos preditivos, você pode usar o AIC ou BIC, ou $R^2$ ou $L1$ regularização, etc ... mas finalmente fora de testes e desempenho da amostra na produção é o que determina a qualidade do modelo. Mas para modelos que explicam bem, não vejo como alguma função de perda possa realmente avaliar um modelo. Na filosofia da ciência, existe o conceito de sub-determinaçãoo que parece pertinente aqui: para qualquer conjunto de dados, sempre é possível escolher criteriosamente alguma distribuição (ou mistura de distribuições) e a função de perda $L$ forma que elas se ajustem aos dados (e, portanto, pode-se afirmar que o explicam). Além disso, o limiar em que $L$ deve estar abaixo para que alguém afirme que o modelo explica adequadamente os dados é arbitrário (tipo de p-valores semelhantes, por que é $p < 0.05$ e não $p < 0.1$ ou $p < 0.01$ ?).

• Com base no exposto, como validar objetivamente um modelo que explica bem, mas não prevê bem, já que o teste fora da amostra não é possível?

Deixe-me começar com a citação expressiva de George Box, de que "todos os modelos estão errados, mas alguns são úteis". Esta afirmação é um encapsulamento da abordagem metodológica do "positivismo", que é uma abordagem filosófica que é altamente influente nas ciências. Essa abordagem é descrita em detalhes (no contexto da teoria econômica) no ensaio metodológico clássico de Friedman (1966) . Nesse ensaio, Friedman argumenta que qualquer teoria científica útil constitui necessariamente uma simplificação da realidade e, portanto, suas suposições devem sempre se afastar da realidade até certo ponto, e podem até se afastar substancialmente da realidade.em reduzir a complexidade do mundo a um conjunto gerenciável de princípios e sua precisão em fazer previsões sobre a realidade e gerar novas hipóteses testáveis ​​sobre a realidade. Assim, Friedman argumenta que "todos os modelos estão errados" na medida em que todos contêm suposições que simplificam (e, portanto, se afastam) da realidade, mas que "alguns são úteis" na medida em que fornecem uma estrutura simples para fazer previsões úteis sobre a realidade.

Agora, se você ler Box (1976) (o artigo em que ele afirma que "todos os modelos estão errados"), verá que ele não cita Friedman, nem menciona o positivismo metodológico. No entanto, sua explicação sobre o método científico e suas características é extremamente próxima da desenvolvida por Friedman. Em particular, os dois autores enfatizam que uma teoria científica fará previsões sobre a realidade que podem ser testadas com relação a fatos observados, e o erro na previsão poderá então ser usado como base para a revisão da teoria.

Agora, vamos à dicotomia discutida por Galit Shmueli em Shmueli (2001) . Neste artigo, Shmueli compara explicação causal e previsão de resultados observados e argumenta que essas são atividades distintas. Especificamente, ela argumenta que as relações causais são baseadas em construções subjacentes que não se manifestam diretamente em resultados mensuráveis ​​e, portanto, "dados mensuráveis ​​não são representações precisas de suas construções subjacentes" (p. 293). Ela argumenta, portanto, que há um aspecto da análise estatística que envolve inferências sobre relações causais subjacentes não observáveis ​​que não se manifestam em diferenças contrafactuais mensuráveis ​​nos resultados.

A menos que eu esteja entendendo algo errado, acho justo dizer que essa idéia está em tensão com as visões positivistas de Box e Friedman, como representado na citação de Box. O ponto de vista positivista diz essencialmente que não há "construções" metafísicas admissíveis além daquelas que se manifestam em resultados mensuráveis. O positivismo limita-se à consideração de dados observáveis ​​e conceitos construídos sobre esses dados; exclui a consideração de a prioriconceitos metafísicos. Assim, um positivista argumentaria que o conceito de causalidade só pode ser válido na medida em que é definido em termos de resultados mensuráveis ​​na realidade - na medida em que é definido como algo distinto disso (como Shmueli o trata), isso seria considerado especulação metafísica e seria tratado como inadmissível no discurso científico.

Então, acho que você está certo - essas duas abordagens estão essencialmente em conflito. A abordagem positivista usada por Box insiste que conceitos científicos válidos sejam inteiramente fundamentados em suas manifestações na realidade, enquanto a abordagem alternativa usada por Shmueli diz que existem algumas "construções" que são conceitos científicos importantes (que queremos explicar), mas que não podem estar perfeitamente representados quando "operacionalizados", relacionando-os a resultados mensuráveis ​​na realidade.

Um modelo, quando usado para explicar as coisas, é uma simplificação da realidade. Simplificação é apenas outra palavra para "errado de alguma maneira útil". Por exemplo, se arredondarmos o número 3,1415926535898 para 3,14, estaremos cometendo um erro, mas esse erro permite que os humanos se concentrem na parte mais importante desse número. É assim que os modelos são usados ​​para explicar, pois fornece insights sobre alguns problemas, mas, por necessidade, é preciso abstrair-se de muitas outras coisas: nós, humanos, não somos muito bons em analisar milhares de coisas simultaneamente. Se nos preocupamos principalmente com a previsão, queremos incluir essas milhares de coisas sempre que possível, mas explicar o compromisso é diferente.

Um exemplo de modelo que é excelente na previsão, mas não explica nada, é apresentado no artigo da Wikipedia " Todos os modelos estão errados ". O exemplo é o modelo de gravitação de Newton. O modelo de Newton quase sempre fornece previsões indistinguíveis de observações empíricas. No entanto, o modelo é extremamente implausível: porque postula uma força que pode agir instantaneamente em distâncias arbitrariamente grandes.

O modelo de Newton foi suplantado pelo modelo dado na teoria geral da relatividade de Einstein. Com a relatividade geral, as forças gravitacionais viajam pelo espaço em velocidade finita (a velocidade da luz).

O modelo de Newton não é uma simplificação do modelo relativista geral. Para ilustrar isso, considere uma maçã caindo de uma árvore. Segundo a relatividade geral, a maçã cai sem que a Terra exerça nenhuma força sobre a maçã. (A principal razão pela qual a maçã cai é que a Terra distorce o tempo, de modo que os relógios próximos à base da árvore correm mais lentamente do que os relógios mais altos da árvore.) Assim, como observa o artigo da Wikipedia, o modelo de Newton é completamente errado em termos de explicação. perspectiva.

O artigo de Shmueli [2010] pressupõe que há dois propósitos para um modelo: previsão e explicação. De fato, vários autores afirmaram que existem três propósitos (ver, por exemplo, Konishi & Kitagawa [ Critérios de Informação e Modelagem Estatística , 2008: §1.1] e Friendly & Meyer [ Análise de Dados Discretos , 2016: §11.6]). Os três propósitos correspondem aos três tipos de raciocínio lógico:

• previsão (correspondente à dedução);
• estimativa de parâmetros (correspondente à indução);
• descrição da estrutura (correspondente ao sequestro).

Sou graduado em estatística, então não vou me chamar de especialista, mas aqui estão meus dois centavos.

Modelos não se explicam; os humanos os interpretam. Modelos lineares são mais fáceis de entender do que redes neurais e florestas aleatórias, porque estão mais próximos de como tomamos decisões. De fato, as RNAs imitam o cérebro humano, mas você não decide qual restaurante deve ir amanhã fazendo uma série de multiplicações de matrizes. Em vez disso, você pondera alguns fatores em sua mente por sua importância, que é essencialmente uma combinação linear.

"Poder explicativo" mede quão bem um modelo se dá bem com a intuição humana, enquanto "poder preditivo" mede quão bem ele se alinha com o mecanismo subjacente do processo de interesse. A contradição entre eles é essencialmente a lacuna entre o que o mundo é e como podemos percebê-lo / entendê-lo. Espero que isso explique por que "alguns modelos fazem um bom trabalho de explicação, mesmo que façam um mau trabalho na previsão".

Ian Stewart disse uma vez: "Se nossos cérebros fossem simples o suficiente para entendê-los, seríamos tão simples que não poderíamos". Infelizmente, nossos pequenos cérebros humanos são realmente muito simples em comparação com o universo, ou mesmo uma bolsa de valores (que envolve muitos cérebros :). Até agora, todos os modelos são produtos de cérebros humanos, por isso devem ser mais ou menos imprecisos, o que leva a "Todos os modelos estão errados" da Box. Por outro lado, um modelo não precisa ser tecnicamente correto para ser útil. Por exemplo, as leis do movimento de Newton foram refutadas por Einstein, mas continuam sendo úteis quando um objeto não é ridiculamente grande ou rápido.

Para responder à sua pergunta, sinceramente não vejo a incompatibilidade entre os argumentos de Box e Shmueli. Parece que você considera "poder explicativo" e "poder preditivo" como propriedades binomiais, mas acho que eles se situam nas duas extremidades de um espectro.