Inferência estatística na especificação incorreta do modelo

Eu tenho uma pergunta metodológica geral. Pode ter sido respondido antes, mas não consigo localizar o encadeamento relevante. Agradeço os ponteiros para possíveis duplicatas.

( Aqui está uma excelente, mas sem resposta. Isso também é semelhante em espírito, mesmo com uma resposta, mas a última é muito específica da minha perspectiva. Isso também é próximo, descoberto após a publicação da pergunta.)

O tema é: como fazer inferência estatística válida quando o modelo formulado antes de ver os dados falha ao descrever adequadamente o processo de geração de dados . A questão é muito geral, mas vou oferecer um exemplo específico para ilustrar o ponto. No entanto, espero que as respostas se concentrem na questão metodológica geral, em vez de detalhar os detalhes do exemplo em particular.

Considere um exemplo concreto: em uma configuração de série temporal, presumo que o processo de geração de dados seja com . Eu pretendo testar a hipótese do assunto que . Eu apresento isso em termos do modelo para obter uma contrapartida estatística viável da minha hipótese no assunto, e este é Por enquanto, tudo bem. Mas quando observo os dados, descubro que o modelo não os descreve adequadamente. Digamos que haja uma tendência linear, de modo que o verdadeiro processo de geração de dados seja com ut∼i. i. N(0,σ 2 u )d

Como posso fazer inferência estatística válida na minha hipótese de assunto ?$\frac{dy}{dx}=1$

• Se eu usar o modelo original, suas suposições serão violadas e o estimador de não tem a boa distribuição que teria. Portanto, não posso testar a hipótese usando o teste .$\beta_1$$t$

• Se, tendo visto os dados, eu alterno do modelo para e altero minha hipótese estatística de para , as suposições do modelo são satisfeitas e eu obtenha um estimador bem-comportado de e pode testar sem dificuldade usando o teste . No entanto, a mudança de para( 2 ) H 0 : β 1 = 1 H ′ 0 : γ 1 = 1 γ 1 H ′ 0 t ( 1 ) ( 2 $(1)$$(2)$$H_0\colon \ \beta_1=1$$H'_0\colon \ \gamma_1=1$$\gamma_1$$H'_0$$t$
  $(1)$$(2)$é informado pelo conjunto de dados em que desejo testar a hipótese. Isso condiciona a distribuição do estimador (e, portanto, também a inferência) à mudança no modelo subjacente, devido aos dados observados. Claramente, a introdução de tal condicionamento não é satisfatória.

Existe uma boa saída? (Se não for freqüentador, então talvez alguma alternativa bayesiana?)

A saída está literalmente fora do teste de amostra, é verdade. Não aquele em que você divide a amostra em treinamento e se mantém como na validação cruzada, mas a verdadeira previsão. Isso funciona muito bem nas ciências naturais. Na verdade, é a única maneira que funciona. Como você constrói uma teoria em alguns dados, espera-se que você faça uma previsão de algo que ainda não foi observado. Obviamente, isso não funciona na maioria das ciências sociais (assim chamadas), como a economia.

Na indústria, isso funciona como nas ciências. Por exemplo, se o algoritmo de negociação não funcionar, você acabará perdendo dinheiro e depois o abandonará. A validação cruzada e os conjuntos de dados de treinamento são amplamente utilizados no desenvolvimento e na decisão de implantar o algoritmo, mas após a produção, tudo se resume a ganhar dinheiro ou perder. Teste simples fora da amostra.

Você pode definir um "procedimento combinado" e investigar suas características. Digamos que você comece de um modelo simples e permita que um, dois ou três modelos mais complexos (ou não paramétricos) sejam ajustados caso o modelo simples não se ajuste. Você precisa especificar uma regra formal de acordo com a qual decida não ajustar o modelo simples, mas um dos outros (e qual). Você também precisa ter testes para aplicar sua hipótese de interesse em todos os modelos envolvidos (paramétricos ou não paramétricos).

Com essa configuração, você pode simular as características, ou seja, com que porcentagem sua hipótese nula é finalmente rejeitada, caso seja verdadeira e com vários desvios de interesse. Além disso, você pode simular a partir de todos os modelos envolvidos e examinar itens como nível condicional e potência condicional, considerando que os dados vieram do modelo X, Y ou Z ou que o procedimento de teste de especificação incorreta do modelo selecionou o modelo X, Y ou Z.

Você pode achar que a seleção de modelos não causa muito mal, no sentido de que o nível atingido ainda está muito próximo do nível que você procurava, e o poder está bom se não for excelente. Ou você pode achar que a seleção de modelo dependente de dados realmente estraga tudo; isso dependerá dos detalhes (se o seu procedimento de seleção de modelo for muito confiável, as chances são de nível e a potência não será afetada com muita força).

Agora, isso não é o mesmo que especificar um modelo e, em seguida, analisar os dados e decidir "ah, eu preciso de outro", mas provavelmente é o mais próximo possível de investigar quais seriam as características de uma abordagem desse tipo. Não é trivial porque você precisa fazer várias escolhas para fazer isso acontecer.

Observação geral: acho enganoso classificar a metodologia estatística aplicada binariamente em "válida" e "inválida". Nada é 100% válido porque as premissas do modelo nunca se mantêm precisamente na prática. Por outro lado, embora você possa encontrar razões válidas (!) Para chamar algo de "inválido", se alguém investigar as características da abordagem supostamente inválida em profundidade, poderá descobrir que ainda funciona razoavelmente bem.