Não, não é verdade. Os métodos bayesianos certamente superestimam os dados. Existem algumas coisas que tornam os métodos bayesianos mais robustos contra o ajuste excessivo e você também pode torná-los mais frágeis.
A natureza combinatória das hipóteses bayesianas, em vez de hipóteses binárias, permite múltiplas comparações quando alguém não possui o modelo "verdadeiro" para métodos de hipótese nula. Um posterior bayesiano penaliza efetivamente um aumento na estrutura do modelo, como adicionar variáveis enquanto recompensa melhorias no ajuste. As penalidades e ganhos não são otimizações, como seria o caso de métodos não bayesianos, mas mudam as probabilidades de novas informações.
Embora isso geralmente ofereça uma metodologia mais robusta, há uma restrição importante e o uso de distribuições anteriores apropriadas. Embora exista uma tendência a querer imitar os métodos freqüentistas usando prioros simples, isso não garante uma solução adequada. Existem artigos sobre o ajuste excessivo nos métodos bayesianos e parece-me que o pecado parece estar tentando ser "justo" com os métodos não bayesianos, começando com anteriores estritamente planos. A dificuldade é que o prior é importante para normalizar a probabilidade.
Modelos bayesianos são modelos intrinsecamente ótimos no sentido de admissibilidade da palavra por Wald, mas há um bicho-papão escondido lá. Wald está assumindo que o prior é o seu verdadeiro prior e não o anterior que você está usando, para que os editores não o enganem por colocar muita informação nele. Eles não são ótimos no mesmo sentido que os modelos freqüentistas. Os métodos freqüentistas começam com a otimização de minimizar a variação, mantendo-se imparcial.
Essa é uma otimização dispendiosa, pois descarta informações e não é intrinsecamente admissível no sentido de Wald, embora freqüentemente seja admissível. Portanto, os modelos freqüentistas fornecem um ajuste ideal aos dados, dada a imparcialidade. Os modelos bayesianos não são adequados nem imparciais nem ideais para os dados. Este é o comércio que você está fazendo para minimizar o overfitting.
Os modelos bayesianos são intrinsecamente tendenciosos, a menos que sejam tomadas medidas especiais para torná-los imparciais, que geralmente são mais adequados aos dados. Sua virtude é que eles nunca usam menos informações que um método alternativo para encontrar o "modelo verdadeiro" e essas informações adicionais tornam os modelos bayesianos nunca menos arriscados que os modelos alternativos, principalmente quando trabalham fora da amostra. Dito isto, sempre haverá uma amostra que poderia ter sido sorteada aleatoriamente que "sistematicamente enganaria" o método bayesiano.
Quanto à segunda parte da sua pergunta, se você analisasse uma única amostra, a posterior seria alterada para sempre em todas as suas partes e não retornaria à anterior, a menos que houvesse uma segunda amostra que cancelasse exatamente todas as informações no primeira amostra. Pelo menos teoricamente isso é verdade. Na prática, se o anterior for suficientemente informativo e a observação suficientemente pouco informativa, o impacto poderá ser tão pequeno que um computador não possa medir as diferenças devido à limitação no número de dígitos significativos. É possível que um efeito seja muito pequeno para um computador processar uma alteração na parte posterior.
Portanto, a resposta é "sim", você pode superestimar uma amostra usando um método bayesiano, principalmente se você tiver um tamanho de amostra pequeno e antecedentes impróprios. A segunda resposta é "não". O teorema de Bayes nunca esquece o impacto de dados anteriores, embora o efeito possa ser tão pequeno que você perde computacionalmente.