"Totalmente Bayesiano" vs "Bayesiano"

20

Eu tenho aprendido sobre estatística bayesiana e frequentemente leio artigos

"adotamos uma abordagem bayesiana"

ou algo semelhante. Também notei, com menos frequência:

"adotamos uma abordagem totalmente bayesiana"

(minha ênfase). Existe alguma diferença entre essas abordagens em algum sentido prático ou teórico? FWIW, estou usando o pacote MCMCglmmem R, caso isso seja relevante.

bayesian

— Joe King
fonte

6

Não acho que "totalmente bayesiano" tenha um significado rigoroso.

— Stéphane Laurent

4

@ Stephanie Tenho certeza de que totalmente Bayesiano é o mesmo que Bayesiano, mas o adjetivo é totalmente usado para enfatizar que não é Bayes empírico.

— 22760 Michael Jackson Chernick

1

@ Michael, isso faz sentido, mas ainda acho que o significado não é universal e parece ser confirmado pelas várias respostas diferentes à pergunta. Eu não ficaria surpreso que algumas pessoas digam "totalmente bayesiano" para dizer que usam um prior subjetivo e não um não informativo. Outra situação possível é quando as pessoas usam a "distribuição preditiva bayesiana-freqüentista" e depois passam para uma abordagem puramente bayesiana.

— Stéphane Laurent

@ Stephanie eu aceito o seu julgamento. Acho que você trabalha mais nas estatísticas bayesianas do que eu e provavelmente já ouviu pessoas usarem o termo de várias maneiras. Pelo menos minha resposta é desprezível e parcialmente certa.

— Michael R. Chernick 8/12/12

@MichaelChernick sim, a sua resposta é um exemplo de uma abordagem pseudo-Bayesian vs uma verdadeira abordagem Bayesiana, mas há outros tais situações

— Stéphane Laurent

19

A terminologia "abordagem totalmente bayesiana" nada mais é do que uma maneira de indicar que a pessoa passa de uma abordagem bayesiana "parcialmente" para uma abordagem bayesiana "verdadeira", dependendo do contexto. Ou para distinguir uma abordagem "pseudo-bayesiana" de uma abordagem bayesiana "estritamente".

Por exemplo, um autor escreve: "Diferentemente da maioria dos outros autores interessados que geralmente usavam uma abordagem empírica de Bayes para RVM, adotamos uma abordagem totalmente bayesiana", porque a abordagem empírica de Bayes é uma abordagem "pseudo-bayesiana". Existem outras abordagens pseudo-bayesianas, como a distribuição preditiva bayesiana-freqüentista (uma distribuição cujos quantis correspondem aos limites dos intervalos de previsão freqüentes).

Em desta página vários pacotes R para Bayesiana de inferência são apresentados. O MCMCglmm é apresentado como uma "abordagem totalmente bayesiana" porque o usuário precisa escolher a distribuição anterior, ao contrário dos outros pacotes.

Outro significado possível de "totalmente bayesiano" é quando se executa uma inferência bayesiana derivada da estrutura da teoria de decisão bayesiana, isto é, derivada de uma função de perda, porque a teoria da decisão bayesiana é uma estrutura fundamental sólida para a inferência bayesiana.

— Stéphane Laurent
fonte

Obrigado por isso. obrigado, então o pacote MCMCglmmsendo "Totalmente Bayesiano" não tem nada a ver com o uso do MCMC para derivar as estimativas e ainda seria totalmente Bayesiano se eu tivesse que especificar o anterior, do qual o posterior poderia ser encontrado analiticamente? Sinto muito se minha pergunta não faz sentido - ainda sou iniciante, mas estou tentando aprender!

— 9788 Joe King

1

O MCMC é apenas uma técnica que é útil para simular as distribuições posteriores nas estatísticas bayesianas. Mas isso não tem nada a ver com a própria abordagem bayesiana.

— Stéphane Laurent

13

Penso que a terminologia é usada para distinguir entre a abordagem bayesiana e a abordagem empírica de Bayes. Full Bayes usa um prior especificado, enquanto Bayes empírico permite que o prior seja estimado através do uso de dados.

— Michael R. Chernick
fonte

Obrigado ! Também vi "Bayes empíricos" mencionados aqui e ali, mas nunca surgiram nas coisas que li, a ponto de precisar pensar seriamente sobre o que isso significa. Acabei de olhar para a página da Wikipedia, que diz que também é conhecida como "máxima probabilidade marginal" e "uma aproximação a um tratamento totalmente bayesiano de um modelo hierárquico de Bayes". Hmmm, para ser honesto eu não entendo muito do que está nessa página :(

— Joe King

@JoeKing Há muitos usos interessantes e importantes dos métodos empíricos de Bayes. A idéia remonta a Herbert Robbins na década de 1960. Nos anos 70, Efron e Morris mostraram que o estimador de James-Stein de uma média normal multivariada e outros estimadores de encolhimento semelhantes são Bayes empíricos. Em seu novo livro sobre Inferência em Grande Escala, Brad Efron mostra como os métodos empíricos de Bayes podem ser usados para problemas, às vezes chamados de pequeno n grande p, porque muitas hipóteses estão nos parâmetros testados com amostras relativamente pequenas (ou seja, p pode ser muito maior que n ) Isso vem com microarrays.

— 22660 Michael Jackson Chernick

1

Mais uma vez obrigado. Devo admitir que não entendo tudo o que você acabou de escrever, mas vou usá-lo como ponto de partida para estudos adicionais sobre esse assunto.

— Joe King

9

"Bayesiano" realmente significa "aproximado Bayesiano".

"Totalmente bayesiano" também significa "aproximado bayesiano", mas com menos aproximação.

Editar : Esclarecimento.

A abordagem totalmente bayesiana seria, para um dado modelo e dados, calcular a probabilidade posterior usando a regra de Bayes Exceto para modelos muito simples, isso tem complexidade computacional muito grande e são necessárias aproximações. Aproximações mais precisas, como o uso do MCMC com amostragem de Gibbs para todos os parâmetros , às vezes são chamadas de "Totalmente Bayesiano". Aproximações menos precisas, como o uso de estimativa de pontos para alguns parâmetros, não podem ser chamadas de "Totalmente Bayesiano". Alguns métodos aproximados de inferência são intermediários, como Bayes Variacional ou Propagação de Expectativas, e às vezes (raramente) também são chamados de "Totalmente Bayesianos".

p (θ ∣ Dados) \propto p (Dados ∣ θ) p (θ) .

$p(\theta \mid \text{Data}) \propto p(\text{Data} \mid \theta)p(\theta) \>.$

θ

$\theta$

— Arek Paterek
fonte

Obrigado. Eu li aqui que o MCMCglmmpacote que estou usando é totalmente bayesiano. Isso ocorre porque ele está usando o MCMC junto com um prior para parâmetros?

— 8118 Joe King

@ Ark Realmente não estou convencido. Então, quando eu uso um conjugado padrão antes, sou "mais do que totalmente" bayesiano? E por que você afirma que uma estimativa pontual é menos "precisa" do que simulações posteriores?

— Stéphane Laurent

1

@ StéphaneLaurent Não afirmo que a estimativa de pontos seja sempre menos precisa. Onde estão os comentários de ontem à minha resposta?

— Arek Paterek

1

@ArekPaterek Sua resposta curta parecia uma piada e, portanto, os comentários que não se aplicam à sua resposta revisada não se aplicam à revisada. Então, meu palpite é que um moderador provavelmente os removeu. Ainda chamar totalmente aproximada bayesiana é intrigante.

— Michael R. Chernick

1

Talvez meu primeiro comentário não excluído não tenha sido claro. Se a resposta de Arek estivesse certa, como devemos chamar a situação quando é possível ter a distribuição posterior exata (como uma simples situação anterior conjugada)? Uma abordagem bayesiana "mais do que totalmente"?

— Stéphane Laurent

8

Eu usaria "totalmente bayesiano" para significar que quaisquer parâmetros de nuissância foram marginalizados da análise, em vez de otimizados (por exemplo, estimativas de MAP). Por exemplo, um modelo de processo gaussiano, com hiperparâmetros ajustados para maximizar a probabilidade marginal, seria bayesiano, mas apenas parcialmente, enquanto que se os hiperparâmetros que definem a função de covariância fossem integrados usando um hiperprior, isso seria totalmente bayesiano. .

— Dikran Marsupial
fonte

4

Essa parece ser a resposta um pouco mais geral. Quanto mais quantidades são marginalizadas em vez de otimizadas, mais 'totalmente bayesiana' é a solução. Bayes empírico é um caso especial.

— conjugateprior

Sim, é apenas uma ligeira extensão da resposta de Michaels; essencialmente a otimização é fundamentalmente não bayesiana.

— Dikran Marsupial

3

Como um exemplo prático:

Eu faço algumas modelagens bayesianas usando splines. Um problema comum com splines é a seleção de nós. Uma possibilidade popular é usar um esquema Monte Carlo em cadeia de Markov com salto reversível (RJMCMC), no qual se propõe adicionar, excluir ou mover um nó durante cada iteração. Os coeficientes para as splines são as estimativas dos mínimos quadrados.

Splines de nó grátis

Na minha opinião, isso o torna apenas 'parcialmente bayesiano' porque, para uma abordagem 'totalmente bayesiana', os anteriores precisariam ser colocados nesses coeficientes (e novos coeficientes propostos durante cada iteração), mas as estimativas dos Mínimos Quadrados não funcionam para o RJMCMC. esquema, e as coisas se tornam muito mais difíceis.

— Glen
fonte

(+1) Eu não entendo a sua situação, mas parece ser uma situação de uma abordagem pseudo-Bayesian

— Stéphane Laurent

1

Eu acrescentaria uma caracterização que não foi mencionada até agora. Uma abordagem totalmente bayesiana "totalmente" propaga a incerteza em todas as quantidades desconhecidas através do teorema de Bayes. Por outro lado, abordagens pseudo-Bayes como Bayes empíricas não propagam todas as incertezas. Por exemplo, ao estimar quantidades preditivas posteriores, uma abordagem totalmente bayesiana usaria a densidade posterior dos parâmetros desconhecidos do modelo para obter a distribuição preditiva do parâmetro alvo. Uma abordagem de EB não levaria em conta a incerteza em todas as incógnitas - por exemplo, alguns dos hiperparâmetros podem ser definidos com valores particulares, subestimando a incerteza geral.

— user67724
fonte