Quais são / são os antecedentes implícitos nas estatísticas freqüentistas?

Eu ouvi a noção de que Jaynes afirma que os freqüentadores operam com um "prévio implícito".

O que são ou são esses antecedentes implícitos? Isso significa que os modelos freqüentadores são todos casos especiais de modelos bayesianos à espera de serem encontrados?

Na teoria da decisão freqüentista, existem resultados completos de classe que caracterizam procedimentos admissíveis como procedimentos de Bayes ou como limites dos procedimentos de Bayes. Por exemplo, Stein, condição necessária e suficiente (Stein. 1955; Farrell, 1968b) afirma que, sob as seguintes premissas

1. a densidade de amostragem $f(x|\theta)$ é contínua em $\theta$ e estritamente positiva em $\Theta$ ; e
2. a função de perda é estritamente convexa, contínua e, se for compacto,$L$$E\subset\Theta$ $$\lim_{\|\delta\|\rightarrow +\infty} \inf_{\theta\in E}L(\theta,\delta) =+\infty.$$

um estimador é admissível se, e somente se, existir$\delta$

• uma sequência de conjuntos compactos crescentes tais que ,Θ = ⋃ N F $(F_n)$$\Theta=\bigcup_n F_n$
• uma sequência de medidas finitas com suporte , eF $(\pi_n)$$F_n$

• uma sequência dos estimadores de Bayes associados a modo queπ $(\delta_n)$$\pi_n$

  1. existe um conjunto compacto tal queinf n π n ( E 0 ) ≥ $E_0\subset \Theta$$\inf_n \pi_n(E_0) \ge 1$
  2. se for compacto,sup n π n ( E ) < + $E\subset \Theta$$\sup_n \pi_n(E) <+\infty$
  3. $\lim_n r(\pi_n,\delta)-r(\pi_n) = 0$ e
  4. $\lim_n R(\theta,\delta_n)= R(\theta,\delta)$ .

[reproduzido do meu livro, Escolha Bayesiana , Teorema 8.3.0, p.407]

Nesse sentido restrito, a propriedade freqüentista da admissibilidade é dotada de um background bayesiano, associando, assim, um anterior implícito (ou sequência do mesmo) a cada estimador admissível.

Sidenote: Em uma triste coincidência, Charles Stein faleceu em 25 de novembro em Palo Alto, Califórnia. Ele tinha 96 anos.

Existe um resultado semelhante (se envolvido matematicamente) para a estimativa invariante ou equivariante, a saber, que o melhor estimador equivariante é um estimador de Bayes para cada grupo transitivo que atua em um modelo estatístico, associado à medida correta de Haar, , induzida em por esse grupo e a perda invariável correspondente. Veja Pitman (1939), Stein (1964) ou Zidek (1969) para os detalhes envolvidos. Isso é provavelmente o que Jaynes tinha em mente, pois ele argumentou à força sobre a resolução dos paradoxos da marginalização por princípios de invariância .$\pi^*$$\Theta$

Além disso, conforme detalhado na resposta civilstat , outra noção freqüente de otimalidade, a minimaxidade, também é conectada aos procedimentos bayesianos, na medida em que o procedimento minimax que minimiza o erro máximo (sobre o espaço de parâmetro) é frequentemente o procedimento maximin que maximiza o erro mínimo ( em todas as distribuições anteriores), portanto, é um procedimento ou limites de Bayes.

P: Existe alguma coisa que eu possa usar para transferir minha intuição bayesiana para modelos freqüentistas?

Primeiro, eu evitaria usar o termo "modelo frequentista", pois existem modelos de amostragem (os dados são uma realização de para um valor de parâmetro )X ∼ f ( x | θ ) $x$$X\sim f(x|\theta)$$\theta$ e procedimentos frequentistas (melhor estimador imparcial, mínimo intervalo de confiança da variação, & tc.)95 95Segundo, não vejo uma razão metodológica ou teórica convincente para considerar os métodos freqüentistas como métodos bayesianos limítrofes ou limitantes. A justificativa para um procedimento frequentista, quando existe, é satisfazer alguma propriedade de otimalidade no espaço amostral, ou seja, ao repetir as observações. A principal justificativa para os procedimentos bayesianos é ser ótima [sob um critério específico ou função de perda], dada uma distribuição prévia e uma realização a partir do modelo de amostragem. Às vezes, o procedimento resultante satisfaz algumas propriedades freqüentes (a região com % de credibilidade é uma região de % de confiança)$95$$95$ , mas isso acontece porque essa otimização não se transfere para todos os procedimentos associados ao modelo bayesiano.

A resposta de @ Xi'an é mais completa. Mas como você também pediu uma retirada expressiva, aqui está uma. (Os conceitos que mencionei não são exatamente os mesmos da configuração de admissibilidade acima.)

Freqüentemente (mas nem sempre) os freqüentistas gostam de usar estimadores que são "minimax": se eu quiser estimar , o pior risco do meu estimador deve ser melhor do que o risco de qualquer outro estimador . Acontece que os MLEs são frequentemente (aproximadamente) minimax. Veja detalhes, por exemplo, aqui ou aqui .$\theta$$\hat{\theta}$

Para encontrar o estimador minimax para um problema, uma maneira é pensar bayesiano por um momento e encontrar o "anterior menos favorável" . Este é o prior cujo estimador Bayes tem maior risco médio do que qualquer outro estimador Bayes. Se você puder encontrá-lo, o estimador Bayes de é minimax.$\pi$$\pi$

Nesse sentido, você poderia dizer: Um freqüentista (usando minimax) é como um bayesiano que escolheu (a estimativa pontual baseada em) um anterior menos favorável.

Talvez você possa esticar o seguinte para dizer: Tal freqüentista é um bayesiano conservador, escolhendo não antecedentes subjetivos ou mesmo antecedentes não informativos, mas (nesse sentido específico) os piores antecedentes.

Finalmente, como outros já disseram, é muito difícil comparar freqüentistas e bayesianos dessa maneira. Ser freqüentista não implica necessariamente que você use um determinado estimador. Significa apenas que você faz perguntas sobre as propriedades de amostragem do estimador, enquanto essas perguntas não são a principal prioridade dos bayesianos. (Portanto, qualquer bayesiano que espere boas propriedades de amostragem, por exemplo, "Bayes calibrado" também é um freqüentista.)
Mesmo se você definir um frequentista como aquele cujos estimadores sempre têm ótimas propriedades de amostragem, existem muitas dessas propriedades e nem sempre é possível. conhecê-los todos de uma vez. Portanto, é difícil falar em geral sobre "todos os modelos freqüentistas".