Usar a geometria da informação para definir distâncias e volumes ... útil?

13

Eu me deparei com um grande corpo de literatura que defende o uso da métrica de Informações de Fisher como uma métrica local natural no espaço de distribuições de probabilidade e, em seguida, a integração sobre ela para definir distâncias e volumes.

Mas essas quantidades "integradas" são realmente úteis para alguma coisa? Não encontrei justificativas teóricas e pouquíssimas aplicações práticas. Um é o trabalho de Guy Lebanon, onde ele usa "distância de Fisher" para classificar documentos e outro é o ABC da Seleção de Modelos de Rodriguez ... onde "volume de Fisher" é usado para a seleção de modelos. Aparentemente, o uso de "volume de informações" fornece melhorias em "ordens de grandeza" sobre o AIC e o BIC para a seleção de modelos, mas não vi nenhum acompanhamento desse trabalho.

Uma justificativa teórica pode ser ter um limite de generalização que use essa medida de distância ou volume e seja melhor do que os limites derivados de MDL ou argumentos assintóticos, ou um método baseado em uma dessas quantidades que seja comprovadamente melhor em alguma situação razoavelmente prática. algum resultado desse tipo?

model-selection information-geometry

— Yaroslav Bulatov
fonte

As informações de Fisher fornecem um limite inferior na estimativa de parâmetros. É uma métrica natural porque diz aproximadamente algo como "nessa direção, a dificuldade do meu problema não pode diminuir mais do que isso". O que você chama de limites de generalização são limites superiores? deseja saber o desempenho do método que usa a métrica Fisher (o corpo grande que você menciona é uma boa lista)? desculpe, mas eu realmente não entendi a pergunta :) você pode reformular esse ponto?

— 22610 robin girard

Digamos que a Matriz de Informações de Fisher fornece nosso tensor métrico riemanniano. Permite encontrar um comprimento de arco de qualquer curva ao integrar. Então você define a distância entre peq como o menor comprimento de arco em todas as curvas que conectam peq. Esta é a medida de distância que estou perguntando. Mesmo com volume.

— Yaroslav Bulatov 13/08/10

1

Assim, apenas como exemplo, Rodriguez recebe uma melhoria significativa usando "volume de informações" como medida de complexidade do modelo, mas surpreendentemente eu não posso ver ninguém tentar isso

— Yaroslav Bulatov

5

Houve um artigo lido na semana passada na Royal Statistical Society sobre técnicas de MCMC sobre variedades de Riemann, usando principalmente a métrica de informações de Fisher: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

Os resultados parecem promissores, embora, como apontam os autores, em muitos modelos de interesse (como os modelos de mistura) as informações de Fisher não tenham forma analítica.

— Simon Byrne
fonte

1

Esse é o jornal "Riemann manifold Langevin"? Integre as informações do Fisher em algum momento?

— Yaroslav Bulatov 19/10/10

4

O argumento mais conhecido é que a métrica de fisher, sendo invariável para coordenar transformações, pode ser usada para formular um prior não informado (Jeffreys prior). Não tenho certeza que eu compro!

Menos conhecido, é que às vezes essas "quantidades integradas" se tornam divergências e, portanto, pode-se argumentar que as distâncias dos pescadores geram um conjunto generalizado de divergências (e propriedades das mesmas).

Ainda assim, ainda estou para encontrar uma boa descrição intuitiva das informações sobre pescadores e das quantidades que gera. Por favor me diga se você encontrar um.

— Lucas
fonte

Muitas coisas são conhecidas sobre as informações da Fisher, são integrais das informações sobre as quais não tenho certeza. Eu não estou familiarizado com o que você diz sobre Informação Fisher se transformando em alguma divergência conhecido na integração

— Yaroslav Bulatov

4

A razão pela qual "não há acompanhamento" é que pouquíssimas pessoas entendem o trabalho de Rodriguez sobre isso há muitos anos. É uma coisa importante e veremos mais disso no futuro, tenho certeza.

No entanto, alguns argumentam que a métrica de Fisher é apenas uma aproximação de 2ª ordem à métrica verdadeira (por exemplo, o artigo de Neumann sobre o estabelecimento de prioros entrópicos ) que é realmente definido pela distância Kullback-Liebler (ou generalizações da mesma) e que leva à formulação de Zellner de MDI anteriores.

— Michael
fonte