Estimando o parâmetro de uma distribuição uniforme: inadequado antes?

Temos N amostras, , de uma distribuição uniforme onde é desconhecida. Estime partir dos dados. $X_i$ $[0,\theta]$ $\theta$ $\theta$

Então, o governo de Bayes ...

$f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})}$

e a probabilidade é:

$f({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta}$ (editar: quando para todos os e 0 caso contrário - obrigado whuber) $0 \le X_i \le \theta$ $i$

mas sem outras informações sobre , parece que o prior deve ser proporcional a (ou seja, uniforme) ou a (Jeffreys prior?) em mas minhas integrais não convergir, e não tenho certeza de como proceder. Alguma ideia? $\theta$ $1$ $\frac{1}{L}$ $[0,\infty]$

— Vai
fonte

Sua probabilidade está incorreta: será zero sempre que for menor que o maior .

θ

$\theta$

X_{i}

$X_i$

— whuber

Você pode mostrar quais integrais você está recebendo?

Sim, acho que simplesmente não sei como lidar com o anterior impróprio. Por exemplo, eu quero escrever

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

— Será

Para o anterior impróprio, = = e para o anterior você obtém da mesma formaComo quase certamente, é certo que as integrais convergirão.

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

\int_{max (X_{i})}^{\infty} θ^{- N} d θ

$\int_{\max(X_i)}^\infty \theta^{-N}d\theta$

max (X_{i})^{1 - N} / (N - 1)

$\max(X_i)^{1-N}/(N-1)$

f (θ) \propto 1 / θ

$f(\theta)\propto 1/\theta$

max (X_{i})^{- N} / N .

$\max(X_i)^{-N}/N.$

max X_{i} > 0

$\max{X_i}\gt 0$

— whuber

A referência posterior de Bernardo é Pareto - veja o catálogo de anteriores não informativos .

— Stéphane Laurent

Respostas:

Isso gerou um debate interessante, mas observe que realmente não faz muita diferença para a questão do interesse. Pessoalmente, acho que porque é um parâmetro de escala, o argumento do grupo de transformação é apropriado, levando a um anterior de $\theta$

\begin{matrix} p (θ | I) = \frac{θ^{- 1}}{\log (\frac{U}{L})} \propto θ^{- 1} & L < θ < U \end{matrix}

$\begin{array}& p(\theta|I)=\frac{\theta^{-1}}{\log\left(\frac{U}{L}\right)}\propto\theta^{-1} & L<\theta<U\end{array}$

Essa distribuição tem a mesma forma no redimensionamento do problema (a probabilidade também permanece "invariável" no redimensionamento). O núcleo deste anterior, pode ser derivado resolvendo a equação funcional . Os valores dependem do problema e realmente importam apenas se o tamanho da amostra for muito pequeno (como 1 ou 2). O posterior é um pareto truncado, dado por: $f(y)=y^{-1}$ $af(ay)=f(y)$ $L,U$

\begin{matrix} p (θ | D I) = \frac{N θ^{- N - 1}}{(L^{*})^{- N} - U^{- N}} & L^{*} < θ < U & where & L^{*} = m a x (L, X_{(N)}) \end{matrix}

$\begin{array}\\ p(\theta|DI)=\frac{N\theta^{-N-1}}{ (L^{*})^{-N}-U^{-N}} & L^{*}<\theta<U & \text{where} & L^{*}=max(L,X_{(N)}) \end{array}$ Onde é o enésimo estatística do pedido ou o valor máximo da amostra. Obtemos a média posterior de Se defina e , obtemos a expiração mais simples .

X_{(N)}

$X_{(N)}$

E (θ | D I) = \frac{N ((L^{*})^{1 - N} - U^{1 - N})}{(N - 1) ((L^{*})^{- N} - U^{- N})} = \frac{N}{N - 1} L^{*} (\frac{1 - {[\frac{L^{*}}{U}]}^{N - 1}}{1 - {[\frac{L^{*}}{U}]}^{N}})

$E(\theta|DI)= \frac{ N((L^{*})^{1-N}-U^{1-N}) }{ (N-1)((L^{*})^{-N}-U^{-N}) }=\frac{N}{N-1}L^{*}\left(\frac{ 1-\left[\frac{L^{*}}{U}\right]^{N-1} }{ 1-\left[\frac{L^{*}}{U}\right]^{N} }\right)$

U \to \infty

$U\to\infty$

L \to 0

$L\to 0$

E (θ | D I) = \frac{N}{N - 1} X_{(N)}

$E(\theta|DI)=\frac{N}{N-1}X_{(N)}$

Mas agora suponha que usamos um prior mais geral, dado por (observe que mantemos os limites para garantir que tudo esteja correto - nenhuma matemática singular então ) O posterior é o mesmo que acima, mas com substituído por - desde que . Repetindo os cálculos acima, a média posterior simplificada de $p(\theta|cI)\propto\theta^{-c-1}$ $L,U$ $N$ $c+N$ $c+N\geq 0$

E (θ | D I) = \frac{N + c}{N + c - 1} X_{(N)}

$E(\theta|DI)=\frac{N+c}{N+c-1}X_{(N)}$

Portanto, o uniforme anterior ( ) fornecerá uma estimativa de desde que (a média seja infinita para ). Isso mostra que o debate aqui é um pouco como usar ou como o divisor na estimativa de variância. $c=-1$ $\frac{N-1}{N-2}X_{(N)}$ $N\geq 2$ $N=2$ $N$ $N-1$

Um argumento contra o uso do uniforme impróprio anteriormente neste caso é que o posterior é impróprio quando , pois é proporcional a . Mas isso só importa se ou for muito pequeno. $N=1$ $\theta^{-1}$ $N=1$

— probabilityislogic
fonte

Como o objetivo aqui é presumivelmente obter alguma estimativa válida e útil de , a distribuição anterior deve ser consistente com a especificação da distribuição da população da qual a amostra vem. Isso NÃO significa que "calculamos" o anterior usando a própria amostra - isso anularia a validade de todo o procedimento. Sabemos que a população da qual a amostra provém é uma população de variáveis aleatórias uniformes de iid, cada uma variando em . Esta é uma suposição mantida e faz parte das informações anteriores que possuímos (e não tem nada a ver com a amostra , isto é, com uma realização específica de um subconjunto dessas variáveis aleatórias). $\theta$ $[0,\theta]$

Agora suponha que essa população consista em variáveis aleatórias (enquanto nossa amostra consiste em realizações de variáveis aleatórias). A suposição mantida nos diz que $m$ $n<m$ $n$

max_{i = 1, . . ., n} {X_{i}} \leq max_{j = 1, . . ., m} {X_{j}} \leq θ

$\max_{i=1,...,n}\{X_i\}\le \max_{j=1,...,m}\{X_j\} \le \theta$

Indique para compacidade . Então temos que também pode ser escrito $\max_{i=1,...,n}\{X_i\} \equiv X^*$ $\theta \ge X^*$

θ = c X^{*} c \geq 1

$\theta = cX^*\qquad c\ge 1$

A função densidade dos de iid Uniform rv variando em é $\max$ $N$ $[0,\theta]$

f_{X^{*}} (x^{*}) = N \frac{(x^{*})^{N - 1}}{θ^{N}}

$f_{X^*}(x^*) = N\frac {(x^*)^{N-1}}{\theta^N}$

para o suporte e zero em outro lugar. Então, usando e aplicando a fórmula de mudança de variável, obtemos uma distribuição anterior para que é consistente com a suposição mantida: $[0,\theta]$ $\theta = cX^*$ $\theta$

f_{p} (θ) = N \frac{(\frac{θ}{c})^{N - 1}}{θ^{N}} \frac{1}{c} = \frac{N}{c^{N}} θ^{- 1} θ \in [x^{*}, \infty]

$f_p(\theta) = N\frac {(\frac{\theta}{c})^{N-1}}{\theta^N}\frac 1c = \frac {N}{c^N} \theta^{-1}\qquad \theta \in [x^*, \infty]$

o que pode ser impróprio se não especificarmos a constante adequadamente. Mas nosso interesse reside em ter um posterior apropriado para e também não queremos restringir os possíveis valores de (além da restrição implícita na suposição mantida). Então deixamos indeterminado. Então, escrevendo a parte posterior é $c$ $\theta$ $\theta$ $c$
$\mathbf X = \{x_1,..,x_n\}$

f (θ ∣ X) \propto θ^{- N} \frac{N}{c^{N}} θ^{- 1} \Rightarrow f (θ ∣ X) = A \frac{N}{c^{N}} θ^{- (N + 1)}

$f(\theta \mid \mathbf X)\; \propto\; \theta^{-N}\frac {N}{c^N} \theta^{-1} \Rightarrow f(\theta \mid \mathbf X) = A\frac {N}{c^N} \theta^{-(N+1)}$

para alguma constante de normalização A. Queremos

\int_{S_{θ}} f (θ ∣ X) d θ = 1 \Rightarrow \int_{x^{*}}^{\infty} A \frac{N}{c^{N}} θ^{- (N + 1)} d θ = 1

$\int_{S_{\theta}}f(\theta \mid \mathbf X)d\theta =1 \Rightarrow \int_{x^*}^{\infty}A\frac {N}{c^N} \theta^{-(N+1)}d\theta =1$

\Rightarrow A \frac{N}{c^{N}} \frac{1}{- N} θ^{- N} |_{x^{*}}^{\infty} = 1 \Rightarrow A = (c x^{*})^{N}

$\Rightarrow A\frac {N}{c^N}\frac {1}{-N}\theta^{-N}\Big |_{x^*}^{\infty} = 1 \Rightarrow A = (cx^*)^N$

Inserindo na parte posterior

f (θ ∣ X) = (c x^{*})^{N} \frac{N}{c^{N}} θ^{- (N + 1)} = N (x^{*})^{N} θ^{- (N + 1)}

$f(\theta \mid \mathbf X) = (cx^*)^N\frac {N}{c^N} \theta^{-(N+1)} = N(x^*)^N\theta^{-(N+1)}$

Observe que a constante indeterminada da distribuição anterior foi cancelada convenientemente. $c$

O posterior resume todas as informações que a amostra específica pode nos fornecer sobre o valor de . Se queremos obter um valor específico para , podemos calcular facilmente o valor esperado do posterior, $\theta$ $\theta$

E (θ ∣ X) = \int_{x^{*}}^{\infty} θ N (x^{*})^{N} θ^{- (N + 1)} d θ = - \frac{N}{N - 1} (x^{*})^{N} θ^{- N + 1} |_{x^{*}}^{\infty} = \frac{N}{N - 1} x^{*}

$E(\theta\mid \mathbf X) = \int_{x^*}^{\infty}\theta N(x^*)^N\theta^{-(N+1)}d\theta = -\frac{N}{N-1}(x^*)^N\theta^{-N+1}\Big |_{x^*}^{\infty} = \frac{N}{N-1}x^*$

Existe alguma intuição nesse resultado? Bem, à medida que o número de aumenta, o mais provável é que a realização máxima entre eles esteja cada vez mais próxima de seu limite superior, - que é exatamente o que o valor médio posterior de reflete: se, por exemplo, , , mas se . Isso mostra que nossa tática em relação à seleção do prior era razoável e consistente com o problema em questão, mas não necessariamente "ideal" em algum sentido. $X$ $\theta$ $\theta$ $N=2 \Rightarrow E(\theta\mid \mathbf X) = 2x^*$ $N=10 \Rightarrow E(\theta\mid \mathbf X) = \frac{10}{9}x^*$

— Alecos Papadopoulos
fonte

Basear o anterior nos dados parece suspeito para mim. Como você justifica essa abordagem?

— whuber

Não tenho nada contra o fato de que seu prior não é "o melhor". Onde eu disse algo assim? Estou apenas tentando entender sua abordagem. Ainda não entendo essa igualdade. Se é constante na igualdade , isso significa que e são não aleatórios? A propósito, você não usa o fato de que na derivação do anterior, usa ? (cc @whuber)

c

$c$

θ = c X^{*}

$\theta=cX^*$

X^{*}

$X^*$

θ

$\theta$

c \geq 1

$c \geq 1$

— Stéphane Laurent

E o apoio do seu prior depende dos dados? ( )

θ \in [x^{*}, \infty [

$\theta \in [x^*, \infty[$

— Stéphane Laurent

Uma dependência prévia (mesmo que seja apenas através do suporte) dos dados parece errada: você não pode saber o máximo da amostra antes que a amostra tenha sido gerada . Além disso, você afirma que é uma igualdade quase certa, com e aleatórios (portanto, existe a correlação ). Mas isso implica que a distribuição posterior de (que é a distribuição condicional de dada a amostra) é a massa de Dirac em . E isso contradiz sua derivação da distribuição posterior. ... (nenhum caractere restante ...)

θ = c X^{*}

$\theta = cX^*$

θ

$\theta$

X^{*}

$X^*$

1

$1$

θ

$\theta$

θ

$\theta$

c x^{*}

$cx^*$

— Stéphane Laurent

A distribuição posterior de é Dirac em significa que é . O teorema de Bayes não é a causa. Você destrói tudo assumindo . Isso implica em , portanto, a distribuição condicional de dada é a massa de Dirac em , enquanto a suposição original é que essa distribuição é a distribuição uniforme em .

θ

$\theta$

c x^{*}

$cx^*$

θ

$\theta$

c x^{*}

$cx^*$

θ = c X^{*}

$\theta = cX^*$

X^{*} = θ / c

$X^*=\theta/c$

X^{*}

$X^*$

θ

$\theta$

θ / c

$\theta/c$

(0, θ)

$(0,\theta)$

— Stéphane Laurent

Teorema uniforme de distribuição anterior (maiúsculas e minúsculas):

"Se a totalidade de Suas informações sobre externa aos dados for capturada pela proposição única então Sua única especificação anterior consistente em termos logicamente internos é $\theta$ $D$

B = {{Possible values for θ} = {the interval (a, b)}, a < b}

$B=\{\{\text{Possible values for } \theta\}=\{\text{the interval } (a,b)\},a<b\}$

f (θ) = Uniform (a, b)

$f(\theta)=\text{Uniform}(a,b)$

Assim, sua especificação anterior deve corresponder à de Jeffrey, se você realmente acredita no teorema acima. "

Não faz parte do teorema uniforme de distribuição anterior:

Como alternativa, você pode especificar sua distribuição anterior como uma distribuição de Pareto, que é a distribuição conjugada do uniforme, sabendo que sua distribuição posterior terá que ser outra distribuição uniforme por conjugação. No entanto, se você usar a distribuição Pareto, precisará especificar parâmetros da distribuição Pareto de alguma forma. $f(\theta)$

Primeiro, você diz que a resposta "única possível logicamente consistente internamente" é uma distribuição uniforme e depois propõe uma alternativa. Isso parece ilógico e inconsistente para mim :-).

— whuber

Eu não posso concordar. Por exemplo, também é o conjuntoQuando o PDF de é para . Mas, de acordo com o "teorema", cujo pdf é nesse intervalo. Em resumo, embora a proposição não dependa de como o problema é parametrizado, a conclusão do "teorema" depende da parametrização, de onde é ambígua.

B

$B$

{θ | θ^{3} \in (a^{3}, b^{3})} .

$\{\theta | \theta^3\in(a^3, b^3)\}.$

Θ \sim Uniform (a, b),

$\Theta\sim\text{Uniform}(a,b),$

Ψ = Θ^{3}

$\Psi=\Theta^3$

1 / (3 ψ^{2 / 3} (b - a))

$1/(3\psi^{2/3}(b-a))$

a^{3} < ψ < b^{3}

$a^3\lt \psi\lt b^3$

Ψ \sim Uniform (a^{3}, b^{3})

$\Psi\sim\text{Uniform}(a^3,b^3)$

1 / (b^{3} - a^{3})

$1/(b^3-a^3)$

— whuber

BabakP: Como alguém poderia dizer que isso é um teorema ? Um teorema é uma afirmação matemática com uma prova matemática. Esse "teorema" seria mais apropriadamente denominado como "princípio", mas não é sensato porque é contraditório, como mostra @whuber.

— Stéphane Laurent

Obrigado pela referência BabakP. Eu gostaria de salientar que o "esboço da prova" é falso. Draper divide o intervalo em um número finito de valores igualmente espaçados e "passa para o limite". Qualquer um pode dividir o intervalo em valores espaçados para aproximar-se de qualquer densidade que desejar e, de maneira semelhante, passar para o limite, produzindo perfeitamente arbitrário "apenas possíveis especificações prévias logicamente internamente consistentes". Esse tipo de coisa - ou seja, usar matemática ruim em um esforço para mostrar que não-bayesianos são ilógicos - dá à análise bayesiana um nome (imerecido) ruim. (cc @ Stéphane.)

— whuber

@ Stéphane Por favor, perdoe minha insensibilidade ( insensibilité ) - admiro sua habilidade de interagir aqui em um segundo idioma e não uso conscientemente termos obscuros! Bogus é um adjetivo que vem de uma gíria americana de 200 anos que se refere a uma máquina para falsificar dinheiro. Nesse caso, é uma máquina matemática para falsificar teoremas :-).

— whuber