Por que os priores de Jeffreys são considerados não informativos?

Considere um Jeffreys anterior onde $p(\theta) \propto \sqrt{|i(\theta)|}$ , onde $i$ é a informação de Fisher.

Eu continuo vendo esse prior sendo mencionado como um prior não informativo, mas nunca vi um argumento sobre por que ele não é informativo. Afinal, não é um constante constante, então deve haver outro argumento.

Entendo que isso não depende de reparametrização, o que me leva à próxima pergunta. Será que o determinante da informação de Fisher não depende de reparametrização? Porque as informações de Fisher definitivamente dependem da parametrização do problema.

Obrigado.

bayesian prior

— bayesiano
fonte

Você leu o artigo da Wikipedia? pt.wikipedia.org/wiki/Jeffreys_prior

— whuber

Sim, eu tinha olhado lá. talvez esteja faltando alguma coisa, mas não acho que o artigo da Wikipedia dê uma resposta adequada às minhas perguntas.

— bayesian

Veja também stats.stackexchange.com/questions/38962/…

— Stéphane Laurent

Observe que o Jeffreys anterior não é invariável em relação a modelos equivalentes. Por exemplo, a inferência sobre um parâmetro

é diferente ao usar distribuições binomiais ou negativas de amostragem binomial negativa. Isso ocorre apesar das funções de probabilidade serem proporcionais e o parâmetro ter o mesmo significado nos dois modelos.

p

$p$

— probabilityislogic

Respostas:

É considerado não informativo devido à invariância da parametrização. Você parece ter a impressão de que um anterior uniforme (constante) não é informativo. Às vezes é, às vezes não é.

O que acontece com o anterior de Jeffreys em uma transformação é que o jacobiano da transformação é sugado para as informações originais de Fisher, o que acaba fornecendo as informações de Fisher sob a nova parametrização. Sem mágica (pelo menos na mecânica), apenas um pouco de cálculo e álgebra linear.

— JMS
fonte

Eu discordo desta resposta. Usar um prior subjetivo também é um procedimento invariável de parametrização!

— Stéphane Laurent

O prior de Jeffreys coincide com o anterior de Bernardo para o espaço paramétrico unidimensional (e modelos "regulares"). Grosso modo, é o prior para o qual a divergência de Kullback-Leibler entre o prior e o posterior é máxima. Essa quantidade representa a quantidade de informações trazidas pelos dados. É por isso que o prior é considerado não informativo: é o único para o qual os dados trazem a quantidade máxima de informações.

A propósito, não sei se Jeffreys estava ciente dessa caracterização de seu anterior.

— Stéphane Laurent
fonte

"Grosso modo, este é o prior para o qual a divergência de Kullback-Leibler entre o prior e o posterior é máxima". Interessante, eu não sabia disso.

— Cam.Davidson.Pilon

(+1) Boa resposta. Seria bom ver algumas referências de alguns dos seus pontos ( por exemplo , 1 , 2 ).

@Procrastinator No momento, estou escrevendo um novo post sobre informações não informativas;) Aguarde alguns dias.

— Stéphane Laurent

Eu diria que não é absolutamente não informativo, mas minimamente informativo. Ele codifica o conhecimento prévio (bastante fraco) de que você sabe que seu estado anterior de conhecimento não depende de sua parametrização (por exemplo, as unidades de medida). Se o seu estado anterior de conhecimento fosse precisamente zero, você não saberia que o seu anterior era invariável a essas transformações.

— Dikran Marsupial
fonte

Estou confuso. Em que tipo de caso você saberia que antes deveria depender da parametrização do modelo?

— John Lawrence Aspden

Se queremos prever a longevidade em função do peso corporal, usando um GLM, sabemos que a conclusão não deve ser afetada se pesarmos o sujeito em kg ou lb; se você usar um uniforme simples antes dos pesos, poderá obter resultados diferentes, dependendo das unidades de medida.

— Dikran Marsupial

Esse é um caso em que você sabe que não deve ser afetado. Qual é o caso em que deveria?

— John Lawrence Aspden

Eu acho que você está perdendo o meu ponto. Digamos que não sabemos nada sobre os atributos, nem mesmo que eles tenham unidades de medida para as quais a análise deve ser invariável. Nesse caso, seu prior codificaria menos informações sobre o problema do que o prior de Jeffrey; portanto, o prior de Jeffrey não é completamente pouco informativo. Podem ou não ser situações em que a análise não deve ser invariável para alguma transformação, mas isso não vem ao caso.

— Dikran Marsupial

Nota: de acordo com o livro BUGS (pág. 83), o próprio Jeffrey se referiu a esses anteriores invariantes de transformação como "minimamente informativos", o que implica que ele os via codificando algumas informações sobre o problema.

— Dikran Marsupial