É certo ajustar um modelo bayesiano primeiro e depois começar a enfraquecer os anteriores?

Ao fazer estatísticas freqüentes, há uma longa lista de grandes nomes, como observar os resultados dos testes estatísticos antes de decidir coletar mais dados. Em geral, estou me perguntando se existe uma lista semelhante de não-nos para as metodologias envolvidas nas estatísticas bayesianas, e especificamente se o seguinte é uma delas.

Percebi recentemente que, para alguns dos modelos em que me encaixei, meu processo foi primeiro ajustá-lo a anteriores informativos para ver se ele funciona ou explodir e depois enfraquecê-los para informações pouco informativas ou pouco informativas e reinstale o modelo.

Minha motivação para isso realmente tem a ver com o fato de eu estar escrevendo esses modelos no JAGS / Stan e, em minha mente, tenho tratado isso mais como uma tarefa de programação do que estatística. Então, eu faço uma primeira execução, meio que o manipula para convergir rapidamente usando anteriores informativos, facilitando a captura de erros no modelo que eu escrevi. Então, depois de depurar o modelo, eu o reposiciono com anteriores pouco informativos ou pouco informativos.

Minha pergunta é se estou violando ou não algumas regras sérias com esse processo. Por exemplo, para que minhas inferências sejam válidas e para evitar explorar os graus de liberdade dos pesquisadores, preciso me comprometer com anteriores específicos antes de começar a ajustar algum modelo?

Os bayesianos subjetivos podem discordar, mas, na minha perspectiva, o prior é apenas uma parte do modelo, como a probabilidade. Alterar o anterior em resposta ao comportamento do modelo não é melhor nem pior do que alterar sua função de probabilidade (por exemplo, tentar diferentes distribuições de erro ou diferentes formulações de modelo).

Pode ser perigoso se você deixar uma expedição de pesca, mas as alternativas podem ser piores. Por exemplo, no caso mencionado, onde seu modelo explode e você obtém coeficientes sem sentido, então você não tem muita escolha a não ser tentar novamente.

Além disso, existem etapas que você pode seguir para minimizar um pouco os perigos de uma expedição de pesca:

• Decidir com antecedência qual antes você usará na análise final
• Ser franco ao publicar ou descrever sua análise sobre todo o procedimento
• Fazendo o máximo possível com os dados simulados e / ou mantendo os dados para a análise final. Dessa forma, você não contaminará muito sua análise.

Se você experimenta anteriores e seleciona uma em termos de desempenho nos dados disponíveis, não é mais uma "prévia". Não apenas depende dos dados (como em uma análise empírica de Bayes), mas também depende do que você deseja ver (o que é pior). No final, você usa ferramentas bayesianas, mas isso não pode ser chamado de análise bayesiana.

Acho que você está bem neste caso por três razões:

1. Você não está realmente ajustando seus antecedentes em resposta aos seus resultados. Se você dissesse algo como "eu uso prévios XYZ e, dependendo da taxa de convergência e dos meus resultados de DIC, modifico meu anterior pelo ABC", diria que estava cometendo um não-não, mas, neste caso, Parece que você realmente não está fazendo isso.

2. Em um contexto bayesiano, os anteriores são explícitos. Portanto, é possível que você ajuste seus priores de maneira inadequada, mas os priores resultantes sempre estarão visíveis para inspeção por outras pessoas que podem questionar por que você tem esses priores em particular. Talvez eu seja ingênuo aqui, já que é fácil olhar para algo como um anterior e dizer: "Hmm, parece razoável" simplesmente porque alguém o ofereceu, mas ...

3. Eu acho que o que você está fazendo está relacionado ao conselho de Gelman (e de outros) de criar um modelo JAGS peça por peça, primeiro trabalhando com dados sintéticos, depois dados reais, para garantir que você não tenha um erro de especificação . Isso não é realmente um fator na metodologia frequentista, e não é realmente uma metodologia experimental.

Então, novamente, eu ainda estou aprendendo essas coisas.

PS: Quando você diz que originalmente o equipou para convergir rapidamente com "antecedentes informativos", você quer dizer anteriores realmente informativos motivados pelo problema em questão, ou apenas anteriores que, por razões arbitrárias, pressionam / restringem fortemente a posterior para acelerar a convergência? "para algum ponto arbitrário? Se for o primeiro caso, por que você está se afastando desses anteriores (motivados)?

Eu acho que isso pode ser um não não independente da escola bayesiana. Jeffreys gostaria de usar anteriores não informativos. Lindley pode querer que você use anteriores informativos. Bayesianos empíricos pediriam que você deixasse os dados influenciarem o anterior. Mas acho que, embora cada escola faça uma sugestão diferente sobre a escolha do prior, todas elas têm uma abordagem que não significa que você pode tirar o prior e continuar ajustando até obter os resultados desejados. Definitivamente, seria como olhar para os dados e continuar a coletar dados e testar até chegar à sua noção preconcebida de qual deveria ser a resposta.

Frequentista ou bayesiano, não importa, não acho que alguém queira que você faça truques com (ou massageie) os dados. Talvez isso seja algo em que todos possamos concordar, e o poema engraçado de Peter seja realmente apropriado.

Eu diria que não, você não precisa se comprometer com anteriores específicos. Geralmente, durante qualquer análise de dados bayesiana, você deve realizar uma análise da sensibilidade do modelo ao anterior. Isso incluiria tentar vários outros antecedentes para ver o que acontece com os resultados. Isso pode revelar um antes melhor ou mais robusto que deve ser usado.

Os dois óbvios "não-não" são: brincar demais com o anterior para obter um melhor ajuste, resultando em excesso de ajuste e alterando os outros parâmetros do modelo para um melhor ajuste. Como um exemplo do primeiro: alterar uma inicial anterior da média para que ela fique mais próxima da média da amostra. Para o segundo: alterando suas variáveis ​​/ características explicativas em uma regressão para obter um melhor ajuste. Este é um problema em qualquer versão de regressão e basicamente invalida seus graus de liberdade.