Por que o Jeffreys prior é útil?

Entendo que o prior de Jeffreys é invariável sob uma parametrização. No entanto, o que não entendo é por que essa propriedade é desejada.

Por que você não gostaria que o anterior fosse alterado sob uma alteração de variáveis?

Deixe-me completar a resposta do Zen. Não gosto muito da noção de "representar a ignorância". O importante não é o Jeffreys anterior, mas o Jeffreys posterior . Este posterior visa refletir o melhor possível as informações sobre os parâmetros trazidos pelos dados. A propriedade invariância é naturalmente necessária para os dois pontos a seguir. Considere, por exemplo, o modelo binomial com parâmetro de proporção desconhecida e parâmetro de chances .$\theta$$\psi=\frac{\theta}{1-\theta}$

1. O Jeffreys posterior em reflete da melhor maneira possível as informações sobre trazidas pelos dados. Existe uma correspondência individual entre e . Então, transformar o Jeffreys posterior em em posterior em (através da fórmula usual de mudança de variáveis) deve produzir uma distribuição que reflita o melhor possível as informações sobre . Portanto, essa distribuição deve ser a de Jeffreys posterior sobre . Esta é a propriedade invariância.$\theta$$\theta$$\theta$$\psi$$\theta$$\psi$$\psi$$\psi$

2. Um ponto importante ao tirar conclusões de uma análise estatística é a comunicação científica . Imagine que você entregue o Jeffreys on a um colega científico. Mas ele / ela está interessado em vez de . Então isso não é um problema com a propriedade invariância: ele apenas precisa aplicar a fórmula de mudança de variáveis.$\theta$$\psi$$\theta$

Suponha que você e um amigo estejam analisando o mesmo conjunto de dados usando um modelo normal. Você adota a parametrização usual do modelo normal usando a média e a variação como parâmetros, mas seu amigo prefere parametrizar o modelo normal com o coeficiente de variação e a precisão como parâmetros (o que é perfeitamente "legal"). Se vocês usarem os antecedentes de Jeffreys, sua distribuição posterior será a distribuição posterior de seu amigo, transformada adequadamente da parametrização dele para a sua. É nesse sentido que o prior de Jeffreys é "invariável"

(A propósito, "invariante" é uma palavra horrível; o que realmente queremos dizer é que é "covariante" no mesmo sentido de cálculo de tensores / geometria diferencial, mas, é claro, esse termo já tem um significado probabilístico bem estabelecido, então não podemos usá-lo.)

Por que essa propriedade de consistência é desejada? Porque, se o prior de Jeffreys tem alguma chance de representar ignorância sobre o valor dos parâmetros em um sentido absoluto (na verdade, isso não ocorre, mas por outras razões não relacionadas à "invariância") e não à ignorância em relação a uma parametrização específica do modelo, deve ser o caso em que, independentemente de quais parametrizações escolhemos arbitrariamente começar, nossos posteriores devem "corresponder" após a transformação.

O próprio Jeffreys violou essa propriedade de "invariância" rotineiramente ao construir seus anteriores.

Este artigo tem algumas discussões interessantes sobre esse assunto e assuntos relacionados.

Para acrescentar algumas citações à grande resposta de Zen: Segundo Jaynes, o prior de Jeffreys é um exemplo do princípio dos grupos de transformação, que resulta do princípio da indiferença:

A essência do princípio é justa: (1) reconhecemos que uma atribuição de probabilidade é um meio de descrever um certo estado de conhecimento. (2) Se a evidência disponível não nos dá razão para considerar a proposição mais ou menos provável que , a única maneira honesta de descrever esse estado de conhecimento é atribuir a eles probabilidades iguais: . Qualquer outro procedimento seria inconsistente no sentido de que, por um mero intercâmbio de rótulos , poderíamos gerar um novo problema no qual nosso estado de conhecimento é o mesmo, mas no qual estamos atribuindo probabilidades diferentes ...$A_1$$A_2$$p_1=p_2$$(1, 2)$

Agora, para responder à sua pergunta: "Por que você não gostaria que o anterior fosse alterado sob uma alteração de variáveis?"

Segundo Jaynes, a parametrização é outro tipo de rótulo arbitrário, e não se deve ser capaz de “por um simples intercâmbio de rótulos gerar um novo problema no qual nosso estado de conhecimento é o mesmo, mas no qual estamos atribuindo probabilidades diferentes. "

Enquanto muitas vezes de interesse, se apenas para definir uma referência anterior contra a qual a medir outros antecedentes, antecedentes Jeffreys pode ser completamente inútil como por exemplo quando eles conduzir a posteriors impróprios: este é por exemplo o caso com o simples de dois componentes de Gauss mistura com todos os parâmetros desconhecidos. Nesse caso, o posterior do Jeffreys anterior não existe, não importa quantas observações estejam disponíveis. (A prova está disponível em um artigo recente que escrevi com Clara Grazian.)

Jeffreys anterior é inútil . Isto é porque:

1. Apenas especifica a forma da distribuição; não diz quais devem ser seus parâmetros.
2. Você nunca é completamente ignorante - sempre há algo sobre o parâmetro que você conhece (por exemplo, geralmente não pode ser infinito). Use-o para sua inferência, definindo uma distribuição anterior. Não minta para si mesmo dizendo que não sabe de nada.
3. "Invariância em transformação" não é uma propriedade desejável. Sua probabilidade muda sob transformação (por exemplo, pelo jacobiano). Isso não cria "novos problemas", acompanha Jaynes. Por que o prior não deveria ser tratado da mesma forma?

Só não use.