As estatísticas bayesianas são genuinamente uma melhoria em relação às estatísticas tradicionais (freqüentistas) da pesquisa comportamental?

Enquanto participava de conferências, houve um esforço dos defensores das estatísticas bayesianas para avaliar os resultados dos experimentos. É considerado mais sensível, apropriado e seletivo em relação a descobertas genuínas (menos falsos positivos) do que as estatísticas freqüentes.

Eu explorei o tópico um pouco, e não estou convencido até agora dos benefícios de usar as estatísticas bayesianas. As análises bayesianas foram usadas para refutar a pesquisa de Daryl Bem , apoiando a precognição, no entanto, permaneço cautelosamente curioso sobre como as análises bayesianas podem beneficiar até minha própria pesquisa.

Então, eu estou curioso sobre o seguinte:

Poder em uma análise bayesiana vs. uma análise freqüentista
Suscetibilidade a erro tipo 1 em cada tipo de análise
O trade-off na complexidade da análise (bayesiano parece mais complicado) versus os benefícios obtidos. As análises estatísticas tradicionais são diretas, com diretrizes bem estabelecidas para tirar conclusões. A simplicidade pode ser vista como um benefício. Vale a pena desistir?

Obrigado por qualquer insight!

bayesian power frequentist

— uma parada
fonte

Estatísticas bayesianas são estatísticas tradicionais - você pode dar um exemplo concreto para o que você quer dizer com estatística tradicional?

@OphirYoktan: Ele está falando sobre probabilidade de frequência versus probabilidade bayesiana. É até mencionado no título da pergunta.

Eu acho que esta questão deve ser movido por aqui: stats.stackexchange.com

— Mark Lapierre

Fiz uma pergunta no meta sobre se isso deveria estar no tópico.

Acho que essa pergunta pode ter uma resposta "boa" ou "correta". Por exemplo, se alguém pudesse dizer "para cada teste freqüentista com erro tipo 1

e erro tipo 2

, existe um teste bayesiano com erro tipo 1

e erro tipo 2

", essa seria uma boa resposta. Ou algo como "todo teste freqüentista é equivalente a um teste bayesiano com prévia pouco informativa". Ou seja, isso não precisa ser uma guerra religiosa entre frequentistas e bayesianos. Estou apenas discutindo porque não entendo como as respostas se relacionam com perguntas específicas no OP.

α

$\alpha$

β

$\beta$

α

$\alpha$

β - x

$\beta - x$

— SheldonCooper

Respostas:

Uma resposta rápida ao conteúdo com marcadores:

1) Erro de potência / tipo 1 em uma análise bayesiana vs. uma análise freqüentista

Perguntar sobre o Tipo 1 e a potência (isto é, um menos a probabilidade de erro do Tipo 2) implica que você pode colocar seu problema de inferência em uma estrutura de amostragem repetida. Você pode? Se você não pode, não há muita escolha a não ser afastar-se das ferramentas de inferência freqüente. Se você puder, e se o comportamento do seu estimador em muitas dessas amostras for relevante, e se você não estiver particularmente interessado em fazer declarações de probabilidade sobre eventos específicos, não há motivos fortes para mudar.

O argumento aqui não é que tais situações nunca surjam - certamente elas surgem - mas que elas normalmente não surgem nos campos em que os métodos são aplicados.

2) O trade-off na complexidade da análise (Bayesiano parece mais complicado) versus os benefícios obtidos.

É importante perguntar para onde vai a complexidade. Em procedimentos freqüentistas, a implementação pode ser muito simples, por exemplo, minimizar a soma dos quadrados, mas os princípios podem ser arbitrariamente complexos, geralmente girando em torno de qual estimador (es) escolher, como encontrar o (s) teste (s) certo (s), o que pensar quando eles discordam. Por exemplo. veja a discussão ainda animada, apresentada neste fórum, de diferentes intervalos de confiança para uma proporção!

Nos procedimentos bayesianos, a implementação pode ser arbitrariamente complexa, mesmo em modelos que parecem "simples", geralmente por causa de integrais difíceis, mas os princípios são extremamente simples. Depende bastante de onde você gostaria que a bagunça estivesse.

3) As análises estatísticas tradicionais são diretas, com diretrizes bem estabelecidas para tirar conclusões.

Pessoalmente, não me lembro mais, mas certamente meus alunos nunca as acharam simples, principalmente devido ao princípio da proliferação descrito acima. Mas a questão não é realmente se um procedimento é direto, mas se está mais perto de estar certo, dada a estrutura do problema.

Por fim, discordo totalmente de que existem "diretrizes bem estabelecidas para tirar conclusões" em ambos os paradigmas. E acho que é uma coisa boa . Claro, "encontrar p <0,05" é uma diretriz clara, mas para qual modelo, com quais correções etc.? E o que faço quando meus testes discordam? O julgamento científico ou de engenharia é necessário aqui, como em outros lugares.

— conjugado
fonte

Não tenho certeza de que perguntar sobre erros do tipo 1 / tipo 2 implique algo sobre uma estrutura de amostragem repetida. Parece que, mesmo que minha hipótese nula não possa ser amostrada repetidamente, ainda é significativo perguntar sobre a probabilidade de erro do tipo 1. A probabilidade, neste caso, é claro, não está em todas as hipóteses possíveis, mas em todas as amostras possíveis da minha única hipótese.

— SheldonCooper

Parece-me que o argumento geral é este: embora cometa um erro do tipo 1 (ou 2) possa ser definido para uma inferência de "um tiro" (o Tipo 1 vs 2 é apenas parte de uma tipologia de erros que posso cometer), a menos que Cometer esse erro é incorporado em tentativas repetidas, nenhum tipo de erro pode ter uma probabilidade freqüentista.

— conjugateprior

O que estou dizendo é que cometer um erro do tipo 1 (ou 2) é sempre incorporado em tentativas repetidas. Cada tentativa está amostrando um conjunto de observações da hipótese nula. Portanto, mesmo que seja difícil imaginar amostrar uma hipótese diferente, ainda existem ensaios repetidos porque é fácil imaginar amostrar um conjunto diferente de observações a partir dessa mesma hipótese.

— SheldonCooper

Enigma-me: como se decide "o que é aleatório?" Por exemplo, suponha que você tenha uma urna, alguém está coletando amostras "aleatoriamente" da urna. Suponha também que um "observador inteligente" também esteja presente e ele saiba o conteúdo exato da urna. A amostragem ainda é "aleatória", embora o "observador inteligente" possa prever com certeza exatamente o que será desenhado? Alguma coisa sobre a urna mudou se ela não estiver mais presente?

— probabilityislogic

O problema que tenho com a natureza "repetida" dos freqüentadores é que, para funcionar, as condições devem permanecer as mesmas. Mas se as condições permanecerem as mesmas, você poderá agrupar seus conjuntos de dados e obter uma estimativa melhor. O frequentista ignora as informações passadas precisamente sob as condições em que é razoável levá-las em consideração.

— probabilityislogic

As estatísticas bayesianas podem ser derivadas de alguns princípios lógicos. Tente pesquisar "probabilidade como lógica estendida" e você encontrará uma análise mais aprofundada dos fundamentos. Mas, basicamente, as estatísticas bayesianas se apóiam em três "desiderata" básicos ou princípios normativos:

A plausibilidade de uma proposição deve ser representada por um único número real
$p(A|C^{(0)})$ $C^{(0)}\rightarrow C^{(1)}$ $p(A|C^{(1)})>p(A|C^{(0)})$ (dado A, B permanece igualmente plausível), então devemos ter $p(B|A C^{(0)})=p(B|AC^{(1)})$ (A e B devem ser pelo menos tão plausíveis) $p(AB| C^{(0)})\leq p(AB|C^{(1)})$ (não A deve se tornar menos plausível). $p(\overline{A}|C^{(1)})<p(\overline{A}|C^{(0)})$
A plausibilidade de uma proposição deve ser calculada consistentemente . Isso significa: a) se uma plausibilidade pode ser fundamentada em mais de uma maneira, todas as respostas devem ser iguais; b) Em dois problemas em que somos apresentados com a mesma informação, devemos atribuir as mesmas plausibilidades; e c) devemos levar em consideração todas as informações disponíveis. Não devemos adicionar informações que não estão lá e não devemos ignorar as informações que temos.

Esses três desiderados (juntamente com as regras da lógica e da teoria dos conjuntos) determinam exclusivamente as regras da soma e do produto da teoria da probabilidade. Assim, se você gostaria de argumentar de acordo com os três desiderados acima, eles devem adotar uma abordagem bayesiana. Você não precisa adotar a "Filosofia Bayesiana", mas deve adotar os resultados numéricos. Os três primeiros capítulos deste livro os descrevem com mais detalhes e fornecem a prova.

E por último, mas não menos importante, o "maquinário bayesiano" é a ferramenta de processamento de dados mais poderosa que você possui. Isso ocorre principalmente devido ao desiderata 3c), usando todas as informações que você possui (isso também explica por que Bayes pode ser mais complicado que os não-Bayes). Pode ser bastante difícil decidir "o que é relevante" usando sua intuição. O teorema de Bayes faz isso por você (e o faz sem adicionar suposições arbitrárias, também devido a 3c).

EDIT: para abordar a questão mais diretamente (como sugerido no comentário), suponha que você tenha duas hipóteses e . Você tem uma perda "falsa negativa" (rejeitar quando for verdadeira: erro do tipo 1) e perda "falsa positiva" $H_0$ $H_1$ $L_1$ $H_0$ (Aceitar $L_2$ $H_0$ quando é falso: erro do tipo 2). A teoria das probabilidades diz que você deve:

Calcular $P(H_0|E_1,E_2,\dots)$ $E_i$ são todas as evidências relacionadas ao teste: dados, informações prévias, o que você deseja que o cálculo incorpore na análise
$P(H_1|E_1,E_2,\dots)$
$O=\frac{P(H_0|E_1,E_2,\dots)}{P(H_1|E_1,E_2,\dots)}$
Aceitar $H_0$ E se $O > \frac{L_2}{L_1}$

Embora você realmente não precise introduzir as perdas. Se você apenas olhar para as probabilidades, obterá um dos três resultados: i) definitivamente $H_0$ , $O>>1$ ii) definitivamente $H_1$ , $O<<1$ ou iii) "inconclusivo" $O\approx 1$ .

Agora, se o cálculo se tornar "muito difícil", você deverá aproximar os números ou ignorar algumas informações.

Para um exemplo real com números calculados, veja minha resposta a esta pergunta

— probabilityislogic
fonte

Não tenho certeza de como isso responde à pergunta. É claro que os freqüentadores discordam do desiderato 1 desta lista, portanto o restante do argumento não se aplica a eles. Também não responde a nenhuma das perguntas específicas do OP, como "a análise bayesiana é mais poderosa ou menos propensa a erros do que uma análise freqüentista".

— SheldonCooper

@sheldoncooper - if a frequentist disagrees with desideratum 1, then on what basis can they construct a 95% confidence interval? They must require an additional number.

— probabilityislogic

@sheldoncooper - and further, sampling probabilities would have to be re-defined, because they too are only 1 number. A frequentist cannot reject desideratum 1 without rejecting their own theory

— probabilityislogic

I'm not sure what additional number you are referring to. I'm also not sure what is the computation of

p (H_{1} | . . .)

$p(H_1|...)$ that you've introduced. The procedure in standard statistical tests is to compute

p (E_{1}, E_{2}, . . . | H_{0})

$p(E_1, E_2, ... | H_0)$ . If this probability is low,

H_{0}

$H_0$ can be rejected; otherwise it cannot.

— SheldonCooper

"they cannot reject desideratum 1 without rejecting their own theory" -- what do you mean by that? Frequentists have no notion of "plausibility". They have a notion of "frequency of occurrence in repeated trials". This frequency satisfies conditions similar to your three desiderata and thus happens to follow similar rules. Thus for anything for which the notion of frequency is defined, you can use laws of probability without any problem.

— SheldonCooper

I am not familiar with Bayesian Statistics myself but I do know that Skeptics Guide to the Universe Episode 294 has and interview with Eric-Jan Wagenmakers where they discuss Bayesian Statistics. Here is a link to the podcast: http://www.theskepticsguide.org/archive/podcastinfo.aspx?mid=1&pid=294