Como a suficiência bayesiana se relaciona com a suficiência freqüentista?

9

A definição mais simples de uma estatística suficiente na perspectiva freqüentista é dada aqui na Wikipedia . No entanto, recentemente me deparei em um livro bayesiano, com a definição . É declarado no link que ambos são equivalentes, mas não vejo como. Além disso, na mesma página, na seção «Outros tipos de suficiência», afirma-se que ambas as definições não são equivalentes em espaços de dimensão infinita ... $P(\theta|x,t)=P(\theta|t)$

Além disso, como a suficiência preditiva se relaciona com a suficiência clássica?

bayesian mathematical-statistics sufficient-statistics

— Um velho no mar.
fonte

4

Se uma estatística é suficiente da maneira freqüente, então , então $T$ $p(\mathbf{x} \mid \theta, t) = p(\mathbf{x} \mid t)$

\begin{aligned} p (θ ∣ x, t) & = \frac{p (x ∣ t, θ) p (t ∣ θ) p (θ)}{p (x ∣ t) p (t)} \\ (freq. suff.) & = \frac{p (t ∣ θ) p (θ)}{p (t)} \\ = p (θ ∣ t) . \end{aligned}

$\begin{align*} p(\theta \mid \mathbf{x}, t) &= \frac{p(\mathbf{x}\mid t,\theta)p(t \mid \theta) p(\theta)}{p(\mathbf{x}\mid t)p(t)} \\ &= \frac{p(t \mid \theta) p(\theta)}{p(t)} \tag{freq. suff.}\\ &= p(\theta \mid t). \end{align*}$

Por outro lado, se for suficiente da maneira bayesiana, então $T$

\begin{aligned} p (x ∣ θ, t) & = \frac{p (x, θ, t)}{p (θ, t)} \\ = \frac{p (θ ∣ x, t) p (x, t)}{p (θ ∣ t) p (t)} \\ (Bayesian suff.) & = \frac{p (x, t)}{p (t)} \\ = p (x ∣ t) . \end{aligned}

$\begin{align*} p(\mathbf{x} \mid \theta, t) &= \frac{p(\mathbf{x}, \theta,t)}{p(\theta,t)}\\ &= \frac{p(\theta \mid \mathbf{x},t) p(\mathbf{x},t)}{p(\theta\mid t)p(t)}\\ &= \frac{p(\mathbf{x},t)}{p(t)} \tag{Bayesian suff.}\\ &= p(\mathbf{x} \mid t). \end{align*}$

Em relação à "suficiência preditiva", o que é isso?

Edit: Se você tem suficiência bayesiana, você tem suficiência preditiva:

\begin{aligned} p (x^{'} ∣ x) & = \int p (x^{'} ∣ θ) p (θ ∣ x) d θ \\ (Bayesian suff.) & = \int p (x^{'} ∣ θ) p (θ ∣ t) d θ \\ = p (x^{'} ∣ t) . \end{aligned}

$\begin{align*} p(\mathbf{x}' \mid \mathbf{x}) &= \int p(\mathbf{x}' \mid \theta)p(\theta \mid \mathbf{x}) d\theta\\ &= \int p(\mathbf{x}' \mid \theta) p(\theta \mid t)d\theta \tag{Bayesian suff.}\\ &= p(\mathbf{x}' \mid t). \end{align*}$

— Taylor
fonte

11

Taylor, é definido no mesmo link, logo abaixo na seção de Suficiência Bayesiana.

— Um velho no mar.

3

Nos deparamos com um fenômeno interessante há alguns anos , ao investigar a escolha do modelo bayesiano com o ABC. O que eu acho que está relacionado com esta pergunta. De fato, existe uma noção de suficiência para a escolha do modelo bayesiano que não parece particularmente significativa fora da abordagem bayesiana.

Dados dois modelos e e uma amostra de um desses dois modelos, uma estatística é suficiente para a escolha do modelo ou entre modelos, se a distribuição de condicional em não depende do índice do modelo (1 ou 2) ou do valor do parâmetro no modelo.

M_{1} = {f_{θ} (\cdot); θ \in Θ}

$\mathfrak{M}_1=\{f_\theta(\cdot); \theta\in\Theta\}$

M_{2} = {g_{ξ} (\cdot); ξ \in Ξ}

$\mathfrak{M}_2=\{g_\xi(\cdot); \xi\in\Xi\}$

x = (x_{1}, \dots, x_{n})

$\mathbf{x}=(x_1,\ldots,x_n)$

S

$S$

X

$\mathbf{X}$

S (X)

$S(\mathbf{X})$

Quando existem estatísticas suficientes, um fator Bayes baseado em é o mesmo que um fator Bayes baseado em . Embora essa seja uma definição que não seja bayesiana em si, não vejo aplicação direta fora da escolha do modelo bayesiano. $\mathbf{X}$ $S(\mathbf{X})$

— Xi'an
fonte