Qual é a conexão entre regiões credíveis e testes de hipóteses bayesianas?

38

Nas estatísticas freqüentistas, há uma estreita conexão entre intervalos de confiança e testes. Usando inferência sobre na distribuição como exemplo, o intervalo de confiança contém todos os valores de que não são rejeitados pelo teste no nível de significância . $\mu$ $\rm N(\mu,\sigma^2)$ $1-\alpha$

\bar{x} \pm t_{α / 2} (n - 1) \cdot s / \sqrt{n}

$\bar{x}\pm t_{\alpha/2}(n-1)\cdot s/\sqrt{n}$

μ

$\mu$

t

$t$

α

$\alpha$

Intervalos de confiança freqüentistas são, nesse sentido, testes invertidos. (Aliás, isso significa que podemos interpretar o valor- como o menor valor de para o qual o valor nulo do parâmetro seria incluído no intervalo de confiança . Acho que isso pode ser uma maneira útil de explique o que os valores de realmente são para pessoas que conhecem um pouco de estatística.) $p$ $\alpha$ $1-\alpha$ $p$

Lendo sobre o fundamento teórico da decisão de regiões credíveis bayesianas , comecei a me perguntar se há uma conexão / equivalência similar entre regiões credíveis e testes bayesianos.

Existe uma conexão geral?
Se não houver conexão geral, existem exemplos em que há uma conexão?
Se não houver conexão geral, como podemos ver isso?

— MånsT
fonte

Uma pergunta relacionada sobre a qual eu estive pensando - alguém poderia me apontar para um artigo que eles consideram o "padrão ouro" ou "exemplo canônico" dos testes de hipóteses bayesianas usados em um problema real, em vez de um exemplo de brinquedo. Eu realmente nunca entendi o teste de hipóteses bayesianas e acho que acho um bom exemplo de seu uso instrutivo.

— Patrick Caldon

2

@PatrickCaldon Duvido que exista um "papel de ouro" nisso, porque o teste de hipóteses bayesiano é formulado em uma estrutura teórica da decisão (portanto, é muito grande para ser capturado em um único artigo). O livro mencionado na resposta de MånsT fornece um bom material, os livros e palestras de Berger também podem ser interessantes.

Acredito que o artigo ba.stat.cmu.edu/vol03is01.php possa esclarecer a maior parte de nossa discussão aqui.

— Carlos AB Pereira

Obrigado, @Carlos! O link parece não funcionar no momento, mas acho que ele leva ao seu artigo de 2008 na Bayesian Analysis com Stern e Wechsler. Achei que uma leitura muito interessante!

— MånsT

Caro MånsT: A análise bayesiana mudou-se para o Projeto Euclides. O artigo do Prof. Carlos está aqui: projecteuclid.org/…

— Zen

19

Eu consegui criar um exemplo em que existe uma conexão. Parece depender muito da minha escolha da função de perda e do uso de hipóteses compostas.

Começo com um exemplo geral, que é seguido por um caso especial simples envolvendo a distribuição normal.

Exemplo geral

Para um parâmetro desconhecido , deixe ser o espaço do parâmetro e considere a hipótese versus a alternativa . $\theta$ $\Theta$ $\theta\in\Theta_0$ $\theta\in\Theta_1=\Theta\backslash\Theta_0$

Vamos ser uma função de teste, usando a notação em Xi'an 's A Bayesian escolha (que é uma espécie de trás para que eu pelo menos estou acostumado a), de modo que nós rejeitamos se e aceito se . Considere a função de perda O teste de Bayes é então $\varphi$ $\Theta_0$ $\varphi=0$ $\Theta_0$ $\varphi=1$

L (θ, φ) = {\begin{cases} 0, & if φ = I_{Θ_{0}} (θ) \\ a_{0}, & if θ \in Θ_{0} and φ = 0 \\ a_{1}, & if θ \in Θ_{1} and φ = 1. \end{cases}

$L(\theta,\varphi) = \begin{cases} 0, & \mbox{if } \varphi=\mathbb{I}_{\Theta_0}(\theta) \\ a_0, & \mbox{if } \theta\in\Theta_0 \mbox{ and }\varphi=0\\ a_1, & \mbox{if } \theta\in\Theta_1 \mbox{ and }\varphi=1. \end{cases}$

φ^{π} (x) = 1 i f P (θ \in Θ_{0} | x) \geq a_{1} (a_{0} + a_{1})^{- 1} .

$\varphi^\pi(x)=1\quad \rm if\quad P(\theta\in\Theta_0|x)\geq a_1(a_0+a_1)^{-1}.$

Tome e . A hipótese nula é aceita se . $a_0=\alpha\leq 0.5$ $a_1=1-\alpha$ $\Theta_0$ $\rm P(\theta\in\Theta_0|x)\geq 1-\alpha$

Agora, uma região credível é uma região tal que . Assim, por definição, se é tal que , pode ser uma região credível apenas se . $\Theta_c$ $\rm P(\Theta_c|x)\geq 1-\alpha$ $\Theta_0$ $\rm P(\theta\in\Theta_0|x)\geq 1-\alpha$ $\Theta_c$ $\rm P(\Theta_0\cap\Theta_c|x)>0$

Aceitamos a hipótese nula se um somente se cada região -credible contiver um subconjunto não nulo de . $1-\alpha$ $\Theta_0$

Um caso especial mais simples

Para ilustrar melhor que tipo de teste temos no exemplo acima, considere o seguinte caso especial.

Seja com . Defina , e , para que desejemos testar se . $x\sim \rm N(\theta,1)$ $\theta\sim \rm N(0,1)$ $\Theta=\mathbb{R}$ $\Theta_0=(-\infty,0]$ $\Theta_1=(0,\infty)$ $\theta\leq 0$

Os cálculos padrão fornecem onde é o cdf normal padrão.

P (θ \leq 0 | x) = Φ (- x / \sqrt{2}),

$\rm P(\theta\leq 0|x)=\Phi(-x/\sqrt{2}),$

Φ (\cdot)

$\Phi(\cdot)$

Seja tal que . é aceito quando . $z_{1-\alpha}$ $\Phi(z_{1-\alpha})=1-\alpha$ $\Theta_0$ $-x/\sqrt{2}>z_{1-\alpha}$

Isso equivale a aceitar quandoPara , é, portanto, rejeitado quando . $x\leq \sqrt{2}z_{\alpha}.$ $\alpha=0.05$ $\Theta_0$ $x>-2.33$

Se, em vez disso, usarmos o , será rejeitado quando . $\theta\sim \rm N(\nu,1)$ $\Theta_0$ $x>-2.33-\nu$

Comentários

A função de perda acima, onde pensamos que aceitar falsamente a hipótese nula é pior do que rejeitá-la falsamente, pode à primeira vista parecer um pouco artificial. No entanto, pode ser de uso considerável em situações em que os "falsos negativos" podem ser onerosos, por exemplo, ao rastrear doenças contagiosas ou terroristas perigosas.

A condição de que todas as regiões credíveis devem conter uma parte de é na verdade um pouco mais forte do que eu esperava: no caso freqüentista, a correspondência é entre um único teste e um único intervalo de confiança e não entre um único teste e todos os intervalos . $\Theta_0$ $1-\alpha$ $1-\alpha$

— MånsT
fonte

2

+1 Eu usaria a região de credibilidade em vez do intervalo de credibilidade .

1

Obrigado @Procrastinator! Eu editei a resposta e mudei para "região" enquanto estava nela. Eu trabalho principalmente com regiões HPD de posteriores unimodais, por isso costumo pensar em regiões de confiança como intervalos. :) #

— 31912

12

Michael e Fraijo sugeriram que simplesmente verificar se o valor do parâmetro de interesse estava contido em alguma região credível como o equivalente bayesiano de inverter os intervalos de confiança. Fiquei um pouco cético sobre isso no começo, já que não era óbvio para mim que esse procedimento realmente resultou em um teste bayesiano (no sentido usual).

Acontece que sim - pelo menos se você estiver disposto a aceitar um certo tipo de função de perda. Muito obrigado a Zen , que forneceu referências a dois documentos que estabelecem uma conexão entre regiões HPD e testes de hipóteses:

Pereira & Stern (1999), Evidência e credibilidade: teste de significância bayesiano completo para hipóteses precisas , Entropia
Madruga, Esteves & Wechsler (2001), sobre a Bayesianidade de Pereira-Stern , Teste

Vou tentar resumi-los aqui, para referência futura. Analogamente ao exemplo da pergunta original, tratarei do caso especial em que as hipóteses são onde é o espaço do parâmetro.

H_{0} : θ \in Θ_{0} = {θ_{0}} and H_{1} : θ \in Θ_{1} = Θ ∖ Θ_{0},

$H_0: \theta\in\Theta_0=\{\theta_0\}\qquad \mbox{and}\qquad H_1: \theta\in\Theta_1=\Theta\backslash \Theta_0,$

Θ

$\Theta$

Pereira & Stern propuseram um método para testar essas hipóteses sem ter que colocar probabilidades anteriores em e $\Theta_0$ $\Theta_1$ .

Vamos denotar a função de densidade de e definir $\pi(\cdot)$ $\theta$

T (x) = {θ : π (θ | x) > π (θ_{0} | x)} .

$T(x)=\{ \theta:\pi(\theta|x)>\pi(\theta_0|x)\}.$

Isso significa que é uma região HPD , com credibilidade . $T(x)$ $P(\theta\in T(x)|x)$

O teste de Pereira-Stern rejeita quando é "pequeno" ( , digamos). Para um posterior unimodal, isso significa que está distante nas caudas do posterior, tornando esse critério um pouco semelhante ao uso de valores-p. Em outras palavras, é rejeitado no nível se e somente se não estiver contido na região HPD . $\Theta_0$ $P(\theta\notin T(x)|x)$ $<0.05$ $\theta_0$ $\Theta_0$ $5~\%$ $95~\%$

Deixe a função de teste ser se for aceito e se for rejeitado. Madruga et al. propôs a função de perda com . $\varphi$ $1$ $\Theta_0$ $0$ $\Theta_0$

L (θ, φ, x) = {\begin{cases} a (1 - I (θ \in T (x)), & if φ (x) = 0 \\ b + c I (θ \in (T (x)), & if φ (x) = 1, \end{cases}

$L(\theta,\varphi,x) = \begin{cases} a(1-\mathbb{I}(\theta\in T(x)), & \mbox{if } \varphi(x)=0 \\ b+c\mathbb{I}(\theta\in(T(x)), & \mbox{if } \varphi(x)=1, \end{cases}$

a, b, c > 0

$a,b,c>0$

A minimização da perda esperada leva ao teste de Pereira-Stern, onde é rejeitado se $\Theta_0$ $P(\theta\notin T(x)|x)<(b+c)/(a+c).$

Até agora, está tudo bem. O teste de Pereira-Stern é equivalente a verificar se está em uma região HPD e existe uma função de perda que gera esse teste, o que significa que ele é fundamentado na teoria da decisão. $\theta_0$

A parte controversa, porém, é que a função de perda depende de $x$ . Embora essas funções de perda tenham aparecido na literatura algumas vezes, elas não parecem ser geralmente aceitas como muito razoáveis.

Para uma leitura mais aprofundada sobre esse tópico, consulte uma lista de artigos que citam Madruga et al. artigo .

Atualização em outubro de 2012:

Eu não estava completamente satisfeito com a função de perda acima, pois sua dependência de torna a tomada de decisão mais subjetiva do que eu gostaria. Passei mais tempo pensando sobre esse problema e acabei escrevendo uma breve nota sobre ele, postada no arXiv hoje cedo . $x$

Seja denota a função quantil posterior de , de modo que . Em vez de conjuntos de HPD, consideramos o intervalo central (de cauda igual) . Testar usando esse intervalo pode ser justificado na estrutura teórica da decisão sem uma função de perda que dependa de . $q_{\alpha}(\theta|x)$ $\theta$ $P(\theta\leq q_{\alpha}(\theta|x))=\alpha$ $(q_{\alpha/2}(\theta|x),q_{1-\alpha/2}(\theta|x))$ $\Theta_0$ $x$

O truque é reformular o problema de testar a hipótese nula ponto como um problema de três decisões com conclusões direcionais. é então testado contra e . $\Theta_0=\{\theta_0\}$ $\Theta_0$ $\Theta_{-1}=\{\theta:\theta<\theta_0\}$ $\Theta_{1}=\{\theta:\theta>\theta_0\}$

Deixe a função de teste se aceitarmos (observe que esta notação é o oposto do usado acima!). Acontece que, sob a função de perda ponderada dos Bayes teste é rejeitar se não estiver no intervalo central. $\varphi=i$ $\Theta_i$ $0-1$

L_{2} (θ, φ) = {\begin{cases} 0, & if θ \in Θ_{i} and φ = i, i \in {- 1, 0, 1}, \\ α / 2, & if θ \notin Θ_{0} and φ = 0, \\ 1, & if θ \in Θ_{i} \cup Θ_{0} and φ = - i, i \in {- 1, 1}, \end{cases}

$L_2(\theta,\varphi) = \begin{cases} 0, & \mbox{if } \theta\in\Theta_i\mbox{ and }\varphi=i, \quad i\in \{-1,0,1\}, \\ \alpha/2, & \mbox{if } \theta\notin\Theta_0 \mbox{ and }\varphi=0,\\ 1, & \mbox{if } \theta\in\Theta_{i}\cup\Theta_0 \mbox{ and }\varphi=-i,\quad i\in\{-1,1\},\end{cases}$

Θ_{0}

$\Theta_0$

θ_{0}

$\theta_0$

Isso parece uma função de perda bastante razoável para mim. Discuto essa perda, a perda e o teste de Madruga-Esteves-Wechsler usando conjuntos credíveis mais adiante no manuscrito no arXiv.

— MånsT
fonte

2

(Eu estou marcando este como uma comunidade wiki)

— MånsT

Quando você diz "Para chegar ao teste de Pereira-Stern, devemos minimizar a perda posterior esperada", bem, na verdade, fazemos isso em qualquer procedimento de decisão bayesiano. A diferença aqui é que a função de perda depende de dados (como você apontou), o que não é padrão. Normalmente, temos .

L : {P a r a m e t e r S p a c e} \times {A c t i o n s} \to R

$L : \{Parameter\; Space\} \times \{Actions\} \to \mathbb{R}$

— Zen

@ Zen: Sim, é claro, eu expressei isso errado. Obrigado por apontar isso. :) #

— 26262

3

@ MånsT: (+1) Esta é uma resposta interessante. Eu respeito muito o fato de você ter escolhido marcar isso como CW neste caso, mas eu gostaria que você não o fizesse. :-)

— cardeal

8

Por coincidência, li seu artigo sobre o arXiv antes de chegar a esta pergunta e já escrevi uma entrada de blog sobre ele ( prevista para 08 de outubro ). Para resumir, acho sua construção de interesse teórico, mas também acho que é artificial demais para ser recomendado, esp. como ele não parece resolver o problema de teste bayesiano da hipótese do ponto nulo, que tradicionalmente exige que se coloque alguma massa anterior no valor do parâmetro ponto nulo.

Ou seja, a solução que você propõe acima (na atualização de outubro) e como o Teorema 2 no seu artigo arXiv não é um procedimento de teste válido, pois usa três valores, em vez dos dois valores que correspondem a aceitar / rejeitar. Da mesma forma, a função de perda usada no Teorema 3 (não reproduzida aqui) equivale a testar uma hipótese unilateral, , em vez de uma hipótese sem nulo . $\varphi$ $H_0: \theta\le\theta_0$ $H_0: \theta= \theta_0$

Minha principal questão, no entanto, é que me parece que o Teorema 3 e o Teorema 4 no seu artigo arXiv não são válidos quando é uma hipótese nula, ou seja, quando , sem massa anterior. $H_0$ $\Theta_0=\{\theta_0\}$

— Xi'an
fonte

1

Obrigado (+1) pelos seus comentários! Estou ansioso para ler o seu blog. :) Como você ressalta, os Teoremas 3 e 4 dizem respeito apenas a hipóteses compostas. O no Teorema 2 é um erro de impressão. Ele deve ler , caso em que quando , o que acontece quando é no intervalo credível. Vou mudar isso no manuscrito arXiv o mais rápido possível!

1 - α / 2

$1-\alpha/2$

α / 2

$\alpha/2$

φ = 0

$\varphi=0$

α / 2 < min (P (Θ_{- 1}), P (Θ_{1}))

$\alpha/2<\mbox{min}(P(\Theta_{-1}),P(\Theta_1))$

θ_{0}

$\theta_0$

— MånsT

Você está certo (+1!), Eu estava pensando na desigualdade de outra maneira! No documento arXiv, a desigualdade central é escrita da maneira errada. ou seja, deve-se aceitar iff

H_{0}

$H_0$

— Xian

É bom ouvir isso :) O manuscrito atualizado (com Thm 2 corrigido) estará no arXiv na segunda-feira. Farei a suposição de que também não é nulo no Thm 4.

Θ_{0}

$\Theta_0$

— MånsT

1

Apenas certifique-se de esclarecer a prova do Teorema 2 no documento arXiv: a desigualdade exibida está escrita da maneira errada. ou seja, deve-se aceitar se , não o contrário!

H_{0}

$H_0$

P (θ \in Θ_{i} | x) > α / 2

$P(\theta\in\Theta_i|x)>\alpha/2$

— Xi'an

3

Você pode usar um intervalo credível (ou região HPD) para o teste de hipótese bayesiana. Eu não acho que é comum; no entanto, para ser justo, não vejo muito nem uso na prática testes de hipóteses bayesianas formais. Os fatores de Bayes são ocasionalmente usados (e no "Bayesian Core" de Robert, um tanto elogiado) nos testes de hipótese estabelecidos.

— Fraijo
fonte

1

Cheers @Fraijo! Você poderia talvez elaborar um pouco sobre como sua resposta difere da de Michael Chernick?

— MånsT

2

Não acho que o uso dos fatores de Bayes para testar hipóteses seja "ocasional"; veja, por exemplo, esta referência .

@ MånsT no acompanhamento do processo que Michael descreve parece ser um teste do Bayes Factor. Essencialmente, você cria dois modelos com antecedentes diferentes com base em sua hipótese e, em seguida, compara a probabilidade do conjunto de dados com base nesses antecedentes. A referência publicada pelo Procrasinator faz uma rápida revisão disso.

— Fraijo 10/07/12

1

@ Procrastinator Eu disse ocasionalmente apenas porque, na minha indústria, vejo poucas pessoas usando métodos bayesianos, muito menos usando métodos bayesianos para testar hipóteses. Pessoalmente, uso os fatores de Bayes para verificar a sensibilidade de meus modelos ao anterior, que suponho ser uma forma de teste de hipóteses.

— Fraijo 10/07/12

1

@ MånsT resposta curta: não. Estabelecer um intervalo confiável e descobrir se ele contém a hipótese nula é o único teste direto comparável ao teste de hipóteses freqüentista. Existem dois problemas com esse método: 1) o fato óbvio de que você pode encontrar várias regiões em alguns casos (por exemplo, um HPD versus uma região simétrica) e 2) testar uma hipótese de ponto (teta = a) conflita com o ideal bayesiano de parâmetros tomando distribuições (theta ~ P (theta)).

— Fraijo

1

Uma região credível é apenas uma região em que a integral da densidade posterior sobre a região é uma probabilidade especificada, por exemplo, 0,95. Uma maneira de formar um teste de hipótese bayesiano é verificar se os valores hipotéticos nulos dos parâmetros se enquadram na região credível. Dessa maneira, podemos ter uma correspondência 1-1 semelhante entre testes de hipóteses e regiões confiáveis, assim como os freqüentadores fazem com intervalos de confiança e testes de hipóteses. Mas essa não é a única maneira de realizar testes de hipóteses.

— Michael R. Chernick
fonte

Esse tipo de teste Bayesiano ad hoc é frequentemente usado na prática?

— precisa saber é

1

@MansT Acho que não. Penso que usualmente os bayesianos colocam probabilidades anteriores na hipótese nula de serem verdadeiras e, depois, com base nos dados constroem probabilidades posteriores. Se as probabilidades posteriores são insignificantes contra a hipótese nula, ela é rejeitada. Mas não sou a melhor pessoa para perguntar, já que não faço inferência bayesiana com muita frequência.

— 22912 Michael Jackson Chernick

2

O teste descrito por Michael é creditado a Lindley por Zellner em seu livro sobre econometria bayesiana.

— Zen

1

Sim, esse tipo de teste certamente surgiu das idéias bayesianas , mas não tenho certeza se elas têm uma base sólida na teoria da decisão bayesiana . Na última configuração, eu esperaria que os testes fossem derivados de uma função de perda, geralmente envolvendo uma função de teste.

— MånsT

2

Prezado Sr. MånsT, dê uma olhada nestes artigos: mdpi.org/entropy/papers/e1040099.pdf w.ime.usp.br/~jstern/miscellanea/citacoes/swtest1.pdf

— Zen

-1

Deixe-me explicar como eu consegui ler a resposta de Tim .

É baseado nas visualizações de tabela com hipótese (parâmetro estimado) em colunas e observações nas linhas.

Na primeira tabela, você tem probabilidades de colas somadas a 1, ou seja, são probabilidades condicionais, cuja condição, ao entrar no evento da coluna é fornecida na linha inferior, chamada 'prior'. Na última tabela, as linhas somam de maneira semelhante a 1 e no meio você tem probabilidades conjuntas, ou seja, probabilidades condicionais encontradas na primeira e na última tabela vezes a probabilidade da condição, as anteriores.

As tabelas basicamente executam a transformação bayesiana: na primeira tabela, você fornece pdf das observações (linhas) em todas as colunas, define o anterior para esta hipótese (sim, a coluna de hipótese é um pdf de observações sob essa hipótese), você faz isso pois cada coluna e tabela o leva primeiro para a tabela de probabilidades conjuntas e, depois, para as probabilidades de sua hipótese, condicionadas pelas observações.

Como recebi da resposta de Tim (corrija-me se estiver errado), a abordagem Intervalo crítico analisa a primeira tabela. Ou seja, uma vez concluída a experiência, conhecemos a linha da tabela (cara ou coroa no meu exemplo, mas você pode fazer experiências mais complexas, como 100 lançamentos de moedas e obter uma tabela com 2 ^ 100 linhas). O frequencialista examina suas colunas, o que, como eu disse, é uma distribuição de possíveis resultados sob a condição de que a hipótese seja verdadeira (por exemplo, a moeda é justa no meu exemplo) e rejeita as hipóteses (colunas) que forneceram um valor de probabilidade muito baixo em a linha observada.

Bayesianista primeiro ajusta as probabilidades, convertendo colunas em linhas e olha para a tabela 3, encontra a linha do resultado observado. Como também é um pdf, ele passa pela linha de resultados do experimento e escolhe a hipótese com maior probabilidade até que seu bolso de 95% de credibilidade esteja cheio. O restante da hipótese é rejeitado.

Como é que você gosta? Ainda estou no processo de aprendizado e o gráfico parece útil para mim. Acredito que estou no caminho certo, pois um usuário respeitável dá a mesma imagem, quando analisa a diferença de duas abordagens . Propus uma visão gráfica da mecânica da seleção de hipóteses.

Encorajo todos a lerem a última resposta de Keith, mas minha imagem da mecânica dos testes de hipóteses pode dizer imediatamente que o freqüentista não olha para a outra hipótese quando verifica a atual, enquanto a consideração de hipóteses de alta credibilidade afeta fortemente a recepção / rejeição de outras hipóteses em bayesiana. análise porque se você tem uma única hipótese que ocorre 95% das vezes sob os dados observados, lança todas as outras hipóteses imediatamente, independentemente de quão bem os dados se ajustem a elas. Vamos deixar de lado a análise do poder estatístico, que contrasta duas hipóteses baseadas em seus intervalos de confiança.

Mas, parece que vi a semelhança entre duas abordagens: elas parecem estar conectadas através da P(A | B) > P(A) <=> P(B|A) > P(B)propriedade . Basicamente, se houver uma dependência entre A e B, ele aparecerá como correlação nas tabelas freq e bayesiana. Então, fazendo um teste de hipótese se correlaciona com o outro, eles devem fornecer os mesmos resultados. Estudar as raízes da correlação provavelmente fornecerá a conexão entre os dois. Na minha pergunta, eu realmente pergunto por que a diferença está em vez da correlação absoluta?

— Little Alien
fonte