O que significa ter algo com boas propriedades freqüentistas?

Ouvi essa frase com frequência, mas nunca entendi completamente o que ela significa. A frase "boas propriedades frequentistas" tem ~ 2750 ocorrências no Google atualmente, 536 em scholar.google.com e 4 em stats.stackexchange.com .

A coisa mais próxima que eu encontrei para uma definição clara vem o slide final em esta apresentação Universidade de Stanford , que estados

[O] significado de relatar intervalos de confiança de 95% é que você "prende" o parâmetro verdadeiro em 95% das reivindicações que faz, mesmo em diferentes problemas de estimativa. Essa é a característica definidora dos procedimentos de estimativa com boas propriedades freqüentistas: eles são submetidos a escrutínio quando usados repetidamente.

Refletindo um pouco sobre isso, assumo que a frase "boas propriedades freqüentistas" implica alguma avaliação de um método bayesiano e, em particular, um método bayesiano de construção de intervalos. Entendo que os intervalos bayesianos devem conter o valor verdadeiro do parâmetro com probabilidade . Intervalos freqüentistas devem ser construídos de tal forma que, se o processo de construção do intervalo fosse repetido muitas vezes cerca de dos intervalos, conteria o valor real do parâmetro. Os intervalos bayesianos em geral não fazem promessas sobre qual% dos intervalos cobrirá o valor real do parâmetro. No entanto, alguns métodos bayesianos também têm a propriedade de que, se repetidos muitas vezes, cobrem o valor real de cerca de $p$ $p*100\%$ $p*100\%$ do tempo. Quando eles têm essa propriedade, dizemos que eles têm "boas propriedades freqüentistas".

Isso está certo? Eu acho que deve haver mais do que isso, já que a frase se refere a boas propriedades freqüentistas , em vez de ter uma boa propriedade freqüentista .

bayesian terminology frequentist

— user1205901 - Restabelecer Monica
fonte

Eu realmente gosto do jeito que você pensou nessa questão. Nos primeiros dias, Sir Harold Jeffreys tentou construir distribuições posteriores bayesianas que se comportavam como funções de probabilidade e, portanto, tinham boas propriedades freqüentistas. Portanto, isso equivale a construir uma distribuição prévia "uniforme". A idéia é que o uso desse prior significa que o prior é neutro e não influencia a inferência. Portanto, isso se aplica a mais do que apenas fazer intervalos confiáveis parecerem intervalos de confiança. Mas Jeffreys teve alguns problemas porque houve casos em que o "uniforme" anterior não era adequado.

— Michael R. Chernick 07/12/16

Imprópria significa que a densidade anterior não se integra a 1. Parece que Jeffreys acreditava que o método bayesiano precisava ser justificado concordando com o método freqüentista. Os bayesianos finalmente rejeitaram essa noção porque o valor da abordagem que eles alegam é que há informações anteriores que influenciam a inferência e, portanto, eles preferem usar anteriores "informativos" apropriados.

— Michael R. Chernick 07/12/16

@ MichaelChernick: você pode fornecer uma referência precisa sobre Jeffreys buscando propriedades freqüentistas para os estimadores de Bayes? Eu nunca ouvi falar dessa história. E também duvido que Jeffreys estivesse preocupado com o uso de antecedentes impróprios, eles estão por toda a Teoria da Probabilidade .

— Xian

Eu amo essa pergunta!

— Alexis #

@ Xi'an, de fato, para o modelo beta-binomial é o prior de Haldane (o que é impróprio) o que leva à estimativa freqüentista, não o prior de Jeffreys (o que é apropriado, neste caso). Também nunca ouvi dizer que Jeffreys estava procurando boas propriedades freqüentistas: pensei que ele estivesse procurando priors objetivos, e por objetivo ele quis dizer invariável sob reparametrização.

— DeltaIV

Respostas:

Uma coisa complicada sobre boas propriedades freqüentistas é que elas são propriedades de um procedimento e não propriedades de um resultado ou inferência particular. Um bom procedimento freqüentador produz inferências corretas sobre a proporção especificada de casos a longo prazo, mas um bom procedimento bayesiano geralmente é aquele que produz inferências corretas no caso individual em questão.

Por exemplo, considere um procedimento bayesiano que seja "bom" em um sentido geral porque fornece uma distribuição de probabilidade posterior ou intervalo credível que representa corretamente a combinação da evidência (função de probabilidade) com a distribuição de probabilidade anterior. Se o prior contém informações precisas (digamos, em vez de opinião vazia ou alguma forma de prior não informativo), esse posterior ou intervalo pode resultar em inferência melhor do que um resultado freqüentador dos mesmos dados. Melhor no sentido de levar a uma inferência mais precisa sobre esse caso específico ou a um intervalo de estimativa mais restrito, porque o procedimento utiliza um prévio personalizado contendo informações precisas. A longo prazo, a porcentagem de cobertura dos intervalos e a correção das inferências são influenciadas pela qualidade de cada prévia.

Observe que o procedimento não especifica como o anterior deve ser obtido e, portanto, a contabilização do desempenho a longo prazo presumivelmente assumirá um anterior anterior, em vez de um anterior personalizado para cada caso.

Um procedimento bayesiano pode ter boas propriedades freqüentistas. Por exemplo, em muitos casos, um procedimento bayesiano com um prévio não informativo fornecido pela receita terá propriedades freqüentes razoavelmente boas a excelentes. Essas boas propriedades seriam um acidente, e não um recurso de design, e seriam uma conseqüência direta de tal procedimento, produzindo intervalos semelhantes aos procedimentos freqüentistas.

Assim, um procedimento bayesiano pode ter propriedades inferenciais superiores em um experimento individual, ao mesmo tempo em que possui propriedades freqüentes pobres a longo prazo. De maneira equivalente, procedimentos freqüentistas com boas propriedades freqüentadoras de longo prazo geralmente apresentam desempenho ruim no caso de experimentos individuais.

— Michael Lew
fonte

Eu não sigo. Exceto por Bayes empírico, em todos os procedimentos bayesianos que vi, o anterior é escolhido independentemente dos dados. Assim, ao aplicar esse procedimento a vários conjuntos de dados provenientes do mesmo processo de geração de dados (esta é a estrutura frequista), o bayesiano usará a mesma função de probabilidade (o processo de geração de dados é o mesmo) e o mesmo anterior (o anterior é independente dos dados na maioria dos procedimentos de Bayes). É claro que desde que os dados mudam a cada vez, o valor da probabilidade muda, mas sua forma é a mesma. Agora, se cada indivíduo [1/2]

— DeltaIV

[2/2] estimativa é mais precisa, como todo o procedimento pode ser menos preciso? Isso só é possível se a estimativa bayesiana nem sempre for mais precisa. No entanto, como o anterior não é customizado para os dados observados, não tenho certeza do que o torna mais ou menos preciso para cada caso e / ou "em média".

— DeltaIV 7/16

@DeltaV Acho que você está lidando com o conjunto de referências errado. As propriedades freqüentistas de um procedimento referem-se ao desempenho de longo prazo do procedimento aplicado em todos os novos casos, não apenas às repetições do experimento específico. É por isso que os procedimentos de intervalo de confiança para proporções binomiais precisam funcionar para todos os valores do parâmetro, não apenas para o valor relevante para qualquer instância específica em que o procedimento é usado. Esse tipo de 'longo prazo' significa que o anterior personalizado que é apropriado para o caso em questão será inadequado a longo prazo.

— Michael Lew

você está certo de que um procedimento de confiança frequentista deve ter a cobertura nominal para todos os valores do parâmetro desconhecido. Isso foi claramente especificado por Newman & Pearson, e é frequentemente negligenciado hoje. No entanto, quando você escolhe o anterior, não sabe qual é o valor "true" do parâmetro. Você tem apenas sua amostra, e o anterior deve ser independente da amostra. Portanto, ainda não vejo claramente como você pode personalizar o anterior com base na amostra. Você pode fazer um exemplo prático?

— DeltaIV 7/16

@DeltaIV Se eu sei que o atual parâmetro de interesse foi estimado no estudo anterior, posso definir um prévio informativo com base nessa estimativa. Esse prior será apropriado para esta análise atual, mas não existe um prévio informativo apropriado equivalente disponível para o conjunto nocional de aplicações do método a longo prazo. Assim, a análise pode ter propriedades muito melhores no caso real isolado do que parece ter no longo prazo freqüentista.

— Michael Lew

Eu responderia que sua análise está correta. Para fornecer mais algumas idéias, eu mencionaria anteriores correspondentes.

Priores correspondentes são normalmente projetados para construir modelos bayesianos com uma propriedade freqüentista. Em particular, eles são definidos para que os intervalos de hpd obtidos atendam à cobertura freqüente do intervalo de confiança (portanto, 95% dos 95% de hpd contêm os valores reais no longo prazo). Observe que, em 1d, existem soluções analíticas: os anteriores de Jeffreys são anteriores. Na dimensão superior, isso não é necessário (pelo que sei, não há resultado que prove que esse nunca seja o caso).

Na prática, esse princípio de correspondência às vezes também é aplicado para ajustar o valor de alguns parâmetros de um modelo: os dados da verdade básica são usados para otimizar esses parâmetros no sentido de que seus valores maximizam a cobertura freqüente dos intervalos de credibilidade resultantes para o parâmetro de interesse. . Pela minha própria experiência, isso pode ser uma tarefa muito sutil.

— peuhp
fonte

Se houver alguma contribuição que eu possa dar, deixe-me adicionar um esclarecimento primeiro e depois responder sua pergunta diretamente. Há muita confusão sobre o tópico (propriedades freqüestistas do procedimento bayesiano) e até divergências entre especialistas. O primeiro equívoco é "Intervalos bayesianos devem conter o valor verdadeiro do parâmetro com probabilidade $p$ "Se você é puro bayesiano (aquele que não adota nenhuma noção freqüentista para avaliar o procedimento bayesiano), não existe" parâmetro verdadeiro ". As principais quantidades de interessados que são parâmetros fixos no mundo freqüentista são variáveis aleatórias no mundo bayesiano.Como bayesiano, você não recupera o verdadeiro valor dos parâmetros, mas a distribuição dos "parâmetros" ou de seus momentos.

Agora, para responder sua pergunta: não, isso não implica nenhuma avaliação do método bayesiano. Ignorando as nuances e concentrando-se no procedimento de estimativa para simplificar: o freqüentismo nas estatísticas é a ideia de estimar uma quantidade fixa desconhecida ou testar uma hipótese e avaliar esse procedimento com base em uma repetição hipotética dela. Você pode adotar muitos critérios para avaliar um procedimento. O que o torna um critério freqüentista é que se preocupa com o que acontecerá se adotar o mesmo procedimento repetidamente. Se você fizer isso, você se preocupa com as propriedades frequentistas. Em outras palavras: "quais são as propriedades freqüentistas?" significa "o que acontece se repetirmos o procedimento repetidamente?" Agora, o que torna essas propriedades freqüentistas boasé outra camada de critérios. As propriedades freqüentistas mais comuns consideradas boas são consistência (em uma estimativa, se você continuar amostrando, o estimador convergirá para o valor fixo que você está estimando), eficiência (se você continuar amostrando, a variação do estimador passará a zero , para que você seja cada vez mais preciso), probabilidade de cobertura(em muitas repetições do procedimento, um intervalo de confiança de 95% conterá o valor verdadeiro em 95% das vezes). Os dois primeiros são chamados de propriedades de amostra grande, o terceiro é o de Neyman, genuinamente freqüentista, no sentido de que não precisa usar necessariamente resultados assintóticos. Então, em suma, na estrutura freqüentista, existe um valor verdadeiro e desconhecido. Você o estima e está sempre (exceto em um raro acidente de sorte) errado na estimativa, mas está tentando se salvar exigindo que, pelo menos sob uma repetição hipotética indefinidamente da sua estimativa, você esteja cada vez menos errado ouvocê sabe que estaria certo uma certa quantidade de vezes. Não discutirei se faz sentido ou não, ou as suposições adicionais necessárias para justificá-lo, já que não foram suas perguntas. Conceitualmente, é a isso que as propriedades freqüentistas se referem e que bem significa em geral nesse contexto.

Terminarei apontando este artigo, para que você julgue por si mesmo se faz sentido e o que significa um procedimento bayesiano ter boas propriedades freqüentistas (você encontrará mais referências lá):

Little, R. e outros, (2011). Compartimentos calibrados, para estatísticas em geral, e dados ausentes em particular. Statistical Science, 26 (2), 162-174.

— Diogo
fonte