Quem são os bayesianos?

À medida que alguém se interessa por estatística, a dicotomia "Frequentista" vs. "Bayesiano" logo se torna comum (e quem nunca leu The Signal and the Noise , de Nate Silver , afinal?). Em palestras e cursos introdutórios, o ponto de vista é predominantemente freqüentador ( MLE , valores), mas tende a haver uma pequena fração de tempo dedicada a admirar a fórmula de Bayes e abordar a ideia de uma distribuição anterior , geralmente tangencialmente.$p$

O tom empregado para discutir as estatísticas bayesianas oscila entre o respeito por seus fundamentos conceituais e uma pitada de ceticismo em relação ao abismo entre objetivos elevados e arbitrariedade na seleção da distribuição anterior ou, afinal, o uso eventual de matemática freqüentadora.

Frases como "se você é um bayesiano ..." são muitas.

A questão é: quem são os bayesianos hoje? São algumas instituições acadêmicas selecionadas nas quais você sabe que se for para lá se tornará bayesiano? Se sim, eles são especialmente procurados? Estamos nos referindo a apenas alguns estatísticos e matemáticos respeitados e, se sim, quem são eles?

Eles existem como tais, esses "bayesianos" puros? Eles aceitariam alegremente o rótulo? É sempre uma distinção lisonjeira? Eles são matemáticos com slides peculiares nas reuniões, privados de quaisquer valores de e intervalos de confiança, facilmente encontrados na brochura?$p$

Quanto de um nicho está sendo um "bayesiano"? Estamos nos referindo a uma minoria de estatísticos?

Ou o atual islamismo bayesiano é equiparado a aplicativos de aprendizado de máquina?

... Ou, mais provavelmente, a estatística bayesiana não é tanto um ramo da estatística, mas um movimento epistemológico que transcende o âmbito dos cálculos de probabilidade em uma filosofia da ciência? Nesse sentido, todos os cientistas teriam um coração bayesiano ... mas não haveria um estatístico bayesiano puro impermeável às técnicas freqüentistas (ou contradições).

Vou responder suas perguntas em ordem:

A questão é: quem são os bayesianos hoje?

Qualquer pessoa que faça análise de dados bayesiana e se identifique como "bayesiana". Assim como um programador é alguém que programa e se identifica como um "programador". Uma pequena diferença é que, por razões históricas, o bayesiano tem conotações ideológicas, devido ao argumento frequentemente acalorado entre os proponentes das interpretações "freqüentistas" da probabilidade e os proponentes das interpretações "bayesianas" da probabilidade.

São algumas instituições acadêmicas selecionadas, nas quais você sabe que se for para lá se tornará bayesiano?

Não, assim como outras partes da estatística, você só precisa de um bom livro (e talvez um bom professor).

Se sim, eles são especialmente procurados?

A análise de dados bayesiana é uma ferramenta muito útil na modelagem estatística, que eu imagino ser uma habilidade bastante procurada (mesmo que as empresas talvez não estejam procurando especificamente "bayesianos").

Estamos nos referindo a apenas alguns estatísticos e matemáticos respeitados e, se sim, quem são eles?

Acredito que há muitos estatísticos respeitados que se autodenominariam bayesianos , mas esses não são os bayesianos.

Eles existem como tais, esses "bayesianos" puros?

É como perguntar "Esses programadores puros existem"? Há um artigo divertido chamado 46656 Variedades de bayesianos , e com certeza existe um argumento saudável entre os "bayesianos" sobre muitas questões fundamentais. Assim como os programadores podem discutir sobre os méritos de diferentes técnicas de programação. (BTW, programa puro para programadores em Haskell).

Eles aceitariam alegremente o rótulo?

Alguns fazem, outros não. Quando descobri a análise de dados bayesiana, achei que era a melhor desde o pão fatiado (ainda o faço) e fiquei feliz em me chamar de "bayesiana" (principalmente para irritar as pessoas que valorizam p no meu departamento). Atualmente, não gosto do termo, acho que ele pode alienar as pessoas, pois faz com que a análise de dados bayesiana pareça algum tipo de culto, o que não é, e não um método útil para se ter em sua caixa de ferramentas estatísticas.

É sempre uma distinção lisonjeira?

Não! Até onde eu sei, o termo "bayesiano" foi introduzido pelo famoso estatístico Fisher como um termo depreciativo. Antes disso, era chamado de "probabilidade inversa" ou apenas "probabilidade".

Eles são matemáticos com slides peculiares nas reuniões, privados de quaisquer valores de p e intervalos de confiança, facilmente encontrados na brochura?

Bem, existem conferências nas estatísticas bayesianas, e não acho que elas incluam tantos valores-p. Se você encontrará os slides peculiares dependerá do seu histórico ...

Quanto de um nicho está sendo um "bayesiano"? Estamos nos referindo a uma minoria de estatísticos?

Ainda acho que uma minoria de estatísticos lida com estatísticas bayesianas, mas também acho que a proporção está aumentando.

Ou o atual islamismo bayesiano é equiparado a aplicativos de aprendizado de máquina?

Não, mas os modelos bayesianos são muito usados ​​no aprendizado de máquina. Aqui está um ótimo livro de aprendizado de máquina que apresenta o aprendizado de máquina de uma perspectiva bayesiana / probibalista: http://www.cs.ubc.ca/~murphyk/MLbook/

Espero que tenha respondido a maioria das perguntas :)

Atualizar:

Por favor, considere adicionar uma lista de técnicas ou premissas específicas que distinguem as estatísticas bayesianas?

O que distingue as estatísticas Bayesian é o uso de modelos Bayesian :) Aqui é o meu giro sobre o que é um modelo Bayesian é :

Um modelo bayesiano é um modelo estatístico em que você usa a probabilidade para representar toda a incerteza dentro do modelo, tanto a incerteza em relação à saída, mas também a incerteza em relação à entrada (também conhecida como parâmetros) para o modelo. A coisa toda anterior / posterior / teorema de Bayes segue nisto, mas, na minha opinião, usar a probabilidade para tudo é o que a torna bayesiana (e, de fato, uma palavra melhor talvez seja apenas algo como modelo probabilístico).

Agora, os modelos bayesianos podem ser difíceis de ajustar , e há várias técnicas computacionais diferentes usadas para isso. Mas essas técnicas não são bayesianas em si mesmas. Para nomear algumas técnicas computacionais:

• Cadeia de Markov Monte Carlo
  • Metropolis-Hastings
  • Amostragem de Gibbs
  • Hamiltoniano Monte Carlo
• Bayes variacionais
• Computação bayesiana aproximada
• Filtros de partículas
• Aproximação de Laplace
• E assim por diante...

Quem foi o famoso estatístico que introduziu o termo 'Bayesiano' como depreciativo?

Supostamente era Ronald Fisher. O artigo Quando a inferência bayesiana se tornou "bayesiana"? dá a história do termo "bayesiano".

Bayesianos são pessoas que definem probabilidades como uma representação numérica da plausibilidade de alguma proposição. Frequentistas são pessoas que definem probabilidades como representando frequências de longo prazo. Se você está satisfeito apenas com uma ou outra dessas definições, é bayesiano ou freqüentador. Se você está satisfeito com um dos dois e usa a definição mais apropriada para a tarefa em questão, então é um estatístico! ; o) Basicamente, tudo se resume à definição de probabilidade, e eu espero que a maioria dos estatísticos em trabalho seja capaz de ver os benefícios e as desvantagens de ambas as abordagens.

indício de ceticismo em relação ao abismo entre objetivos elevados e arbitrariedade na seleção da distribuição anterior, ou eventual uso de matemática freqüentadora, afinal.

O ceticismo também vai na outra direção. O freqüentismo foi inventado com o objetivo elevado de eliminar a subjetividade do pensamento existente sobre probabilidade e estatística. No entanto, a subjetividade ainda está lá (por exemplo, na determinação do nível apropriado de significância no teste de hipóteses), mas simplesmente não é explicitada ou é frequentemente ignorada .

Andrew Gelman , por exemplo, professor de estatística e ciência política na Universidade de Columbia, é um proeminente bayesiano.

Eu suspeito que a maioria dos bolsistas da ISBA provavelmente se consideraria bayesiana também.

Em geral, os seguintes tópicos de pesquisa geralmente refletem uma abordagem bayesiana. Se você ler artigos sobre eles, é provável que os autores se descrevam como "bayesianos"

• Cadeia de Markov Monte Carlo
• Métodos Bayesianos Variacionais (o nome indica esse)
• Filtragem de partículas
• Programação probabilística

Hoje somos todos bayesianos , mas há um mundo além desses dois campos: probabilidade algorítmica. Não sei ao certo qual é a referência padrão sobre esse assunto, mas há este belo artigo de Kolmogorov sobre complexidade algorítmica: AN Kolmogorov, Três abordagens para a definição do conceito “quantidade de informação” , Probl. Peredachi Inf., 1965, Volume 1, Edição 1, 3-11. Tenho certeza de que há uma tradução em inglês.

Neste artigo, ele define a quantidade de informações de três maneiras: combinatória, probabilística e (nova) algorítmica. Combinatório mapeia diretamente para frequentista, o Probabilist não corresponde diretamente ao bayesiano, mas é compatível com ele.

ATUALIZAÇÃO: Se você está interessado na filosofia da probabilidade, quero apontar para um trabalho muito interessante " As origens e o legado do Grundbegriffe de Kolmogorov"de Glenn Shafer e Vladimir Vovk. Nós meio que esquecemos tudo antes de Kolmogorov, e havia muita coisa acontecendo antes de seu trabalho seminal. Por outro lado, não sabemos muito sobre suas visões filosóficas. Geralmente se pensa que ele era um freqüentador, por exemplo. A realidade de que ele viveu na União Soviética em 1930 ', onde era bastante perigoso se aventurar na filosofia, literalmente, você poderia ter problemas existenciais, o que alguns cientistas fizeram (acabaram nas prisões GULAG). , ele foi meio que forçado a indicar implicitamente que era um frequentista.Eu acho que, na realidade, ele não era apenas um matemático, mas ele era um cientista e tinha uma visão complexa da aplicabilidade da teoria da probabilidade à realidade.

Há também outro artigo de Vovk sobre a abordagem algorítmica de Kolmogorov à aleatoriedade: as contribuições de Kolmogorov para os fundamentos da probabilidade

Vovk criou uma abordagem da teoria dos jogos às probabilidades - também muito interessante.

$P(B|E)$$B$$E$$P(E|B)$

ATUALIZAÇÃO 3:

Eu também queria apontar para algo no trabalho original de Kolmogorov que não é comumente conhecido por algum motivo (ou facilmente esquecido) pelos praticantes. Ele tinha uma seção sobre conectar a teoria à realidade. Em particular, ele estabeleceu duas condições para o uso da teoria:

• A. Se você repetir o experimento várias vezes, a frequência da ocorrência será diferente apenas em uma pequena quantidade da probabilidade, praticamente certamente
• B. Se a probabilidade for muito pequena, se você realizar o experimento apenas uma vez, poderá ter praticamente certeza de que o evento não ocorrerá.

Existem interpretações diferentes dessas condições, mas a maioria das pessoas concorda que essas não são as visões puramente freqüentistas. Kolmogorov declarou que segue a abordagem de von Mises até certo ponto, mas ele parecia indicar que as coisas não são tão simples quanto podem parecer. Costumo pensar na condição B e não posso chegar a uma conclusão estável, parece um pouco diferente toda vez que penso nisso.

O bayesiano mais "hard core" que eu conheço é Edwin Jaynes , falecido em 1998. Eu esperaria que outros bayesianos "hard core" fossem encontrados entre seus alunos, especialmente o co-autor póstumo de seu trabalho principal . Lógica da Ciência , Larry Bretthorst. Outros bayesianos históricos notáveis ​​incluem Harold Jeffreys e Leonard Savage . Embora eu não tenha uma visão geral completa do campo, minha impressão é que a popularidade mais recente dos métodos bayesianos (especialmente no aprendizado de máquina) não se deve a convicções filosóficas profundas, mas à posição pragmática de que os métodos bayesianos se mostraram úteis em muitos formulários. Eu acho que típico para esta posição é Andrew Gelman .

Não sei quem são os bayesianos (embora suponha que deva ter uma distribuição prévia disso), mas sei quem eles não são.

Para citar o eminente Bayesiano agora falecido, DV Lindley, "não há ninguém menos bayesiano que um bayesiano empírico". Seção empírica de Bayes de Métodos Bayesianos: Uma Abordagem de Ciências Sociais e Comportamentais, Segunda Edição por Jeff Gill . Significado Suponho que mesmo os "freqüentistas" pensem sobre o que o modelo faz sentido (a escolha de uma forma de modelo, em certo sentido, constitui um anterior), em oposição aos bayesianos empíricos que são totalmente mecânicos em relação a tudo.

Penso que, na prática, não há muita diferença nos resultados das análises estatísticas realizadas pelos mais altos escalões Bayesianos e Frequentistas. O que é assustador é quando você vê um estatístico de baixa qualidade que tenta padronizar-se rigidamente (nunca o observou com uma mulher) após seu modelo ideológico com absoluta pureza ideológica e abordar a análise exatamente como ele acha que seria o modelo, mas sem o qualidade de pensamento e julgamento que o modelo tem. Isso pode resultar em análises e recomendações muito ruins. Eu acho que ideólogos de núcleo ultra-rígido, mas de baixa qualidade, são muito mais comuns entre os bayesianos do que os freqüentistas. Isso se aplica particularmente à análise de decisão.

Provavelmente estou atrasado para esta discussão para alguém perceber isso, mas acho uma pena que ninguém tenha apontado o fato de que a diferença mais importante entre as abordagens Bayesiana e Frequentista é que os Bayesianos (principalmente) usam métodos que respeitam o princípio da probabilidade, enquanto os freqüentistas quase sempre não. O princípio da verossimilhança diz que as evidências relevantes para o parâmetro do modelo estatístico de interesse estão inteiramente contidas na função de verossimilhança relevante.

Os freqüentistas que se preocupam com a teoria ou filosofia estatística devem estar muito mais preocupados com argumentos sobre a validade do princípio da probabilidade do que com argumentos sobre a distinção entre frequência e interpretações de probabilidade de crenças parciais e sobre o desejo de probabilidades anteriores. Embora seja possível que diferentes interpretações de probabilidade coexistam sem conflito e que algumas pessoas optem por fornecer uma prévia sem exigir que outras o façam, se o princípio da probabilidade for verdadeiro em sentido positivo ou normativo, muitos métodos freqüentistas perderão suas pretensões. para otimizar. Os ataques freqüentes ao princípio da verossimilhança são veementes, porque esse princípio mina sua visão estatística do mundo, mas principalmente esses ataques perdem sua marca ( http://arxiv.org/abs/1507.08394)

Você pode acreditar que é bayesiano, mas provavelmente está errado ... http://www.rmm-journal.de/downloads/Article_Senn.pdf

Os bayesianos derivam a distribuição de probabilidade de resultados de interesse, dada crença prévia / informação prévia. Para um bayesiano, essa distribuição (e seus resumos) é o que mais interessa às pessoas. Contraste com os resultados "freqüentistas" típicos que mostram qual a chance de ver resultados tão ou mais extremos do que aqueles observados, uma vez que a hipótese nula é verdadeira ( valor p) ou estimativas de intervalo para o parâmetro de interesse, 95% dos quais conteriam o valor verdadeiro se você pudesse fazer amostragens repetidas (intervalo de confiança).

As distribuições anteriores bayesianas são controversas porque são suas anteriores. Não há prévia "correta". A maioria dos bayesianos pragmáticos procura evidências externas que possam ser usadas para anteriores e depois as desconta ou modifica com base no que se espera ser "razoável" para o caso em particular. Por exemplo, priores céticos podem ter uma "massa" de probabilidade em um caso nulo - "Quão bons seriam os dados para me fazer mudar de idéia / mudar a prática atual?" A maioria também analisará a robustez das inferências para diferentes antecedentes.

Há um grupo de bayesianos que estuda priores de "referência" que lhes permitem construir inferências que não são "influenciadas" por crenças anteriores e, portanto, obtêm declarações probabilísticas e estimativas de intervalo que possuem propriedades "freqüentistas".

Há também um grupo de "hardcore bayesianos" que podem advogar a não escolha de um modelo (todos os modelos estão errados) e que podem argumentar que a análise exploratória deve influenciar seus antecedentes e, portanto, não deve ser feita. Existem poucos que radical embora ...

Na maioria dos campos da estatística, você encontrará análises e profissionais bayesianos. Assim como você encontrará algumas pessoas que preferem não paramétricos ...

Apenas para responder à sua última pergunta (por isso não busco um prêmio!), Sobre uma ligação entre uma abordagem bayesiana / freqüentista e a posição epistemológica de uma pessoa, a autora mais interessante que encontrei é Deborah Mayo. Um bom ponto de partida é essa troca de 2010 entre Mayo e Andrew Gelman (que emerge aqui como um bayesiano um tanto herético). Mayo mais tarde publicou uma resposta detalhada ao artigo de Gelman & Shalizi aqui .

Um subconjunto de todos os bayesianos, ou seja, aqueles bayesianos que se preocuparam em enviar um email, está listado aqui .

Eu chamaria Bruno de Finetti e LJ Savage Bayesians. Eles trabalharam em seus fundamentos filosóficos.

Para entender o debate fundamental entre frequentistas e bayesianos, seria difícil encontrar uma voz mais autoritária do que Bradley Efron.

Este tópico foi um tema que ele abordou várias vezes em sua carreira, mas pessoalmente achei um de seus trabalhos mais antigos úteis: Controvérsias nos Fundamentos da Estatística (este ganhou um prêmio por excelência expositiva).