Esclarecimento em geometria da informação


10

Esta questão está relacionada ao artigo Geometria Diferencial de Famílias Exponenciais Curvas - Curvaturas e Perda de Informação por Amari.

O texto é o seguinte.

Seja uma variedade dimensional de distribuições de probabilidade com um sistema de coordenadas , onde é assumido ...Sn={pθ}nθ=(θ1,,θn)pθ(x)>0

Podemos considerar cada ponto de como portador de uma função de ...θSnlogpθ(x)x

Seja o espaço tangente de em , que é, grosso modo, identificado com uma versão linearizada de uma pequena vizinhança de em . Seja a base natural de associada ao sistema coordenado ... S n θ θ S n e i ( θ ) , i = 1 , , n T θTθSnθθSnei(θ),i=1,,nTθ

Como cada ponto θ de Sn possui uma função logpθ(x) de x , é natural considerar ei(θ) em θ como representando a função

ei(θ)=θilogpθ(x).

Eu não entendo a última afirmação. Isso aparece na seção 2 do documento mencionado acima. Como a base do espaço tangente é dada pela equação acima? Seria útil se alguém nesta comunidade familiarizada com esse tipo de material pudesse me ajudar a entender isso. Obrigado.


Atualização 1:

Embora eu concorde que (de @aginensky) se θipθ são linearmente independentes, então θilogpθ também são linearmente independentes, como esses são membros do espaço tangente em primeiro lugar não é muito claro. Então, como θilogpθ ser considerado como base para o espaço tangente. Qualquer ajuda é apreciada.

Atualização 2:

@aginensky: Em seu livro, Amari diz o seguinte:

Vamos considerar o caso em que , o conjunto de todas as medidas de probabilidade (estritamente) positivas em , em que consideramos como um subconjunto de . De fato, é um subconjunto aberto do espaço afim .X = { x 0 , , x n } P ( X ) R X = { X | X : XR } P ( X ) { X | Σ x X ( x ) = 1 }Sn=P(X)X={x0,,xn}P(X)RX={X|X:XR}P(X){X|xX(x)=1}

Então, o espaço tangente de em todos os pontos pode ser naturalmente identificado com o subespaço linear . Para a base natural de um sistema de coordenadas , temos .S n A 0 = { X | Σ x X ( x ) = 0 } Tp(Sn)SnA0={X|xX(x)=0} θ=(θ1,...,θn)(θiθ=(θ1,,θn)(θi)θ=θipθ

Em seguida, vamos usar outro incorporado e identificar com o subconjunto de . Um vetor tangente é então representado pelo resultado da operação de em , que denotamos por . Em particular, temos . É óbvio que e que S n log S n : = { log p | p S nplogpSnR X X T p ( S n ) X p log p X ( e ) ( logSn:={logp|pSn}RXXTp(Sn)XplogpX(e)X(e)=X(x)/p(x)t ( E ) p (Sn)={X(e)| XTp(Sn)}={ARX| ΣxA(x)p(x(θi)θ(e)=θilogpθX(e)=X(x)/p(x)

Tp(e)(Sn)={X(e)|XTp(Sn)}={ARX|xA(x)p(x)=0}.

Minha pergunta: se e são a base para o espaço tangente, isso não contradiz o fato de que e são distintos e ? (θiTpT ( e ) p(θi)(e)TpTp(e)θi(e)Tp(e)

Eu acho que parece haver uma associação entre ( ) e . Se você puder esclarecer isso, seria de grande ajuda. Você pode dar como resposta. ( log S n , T ( e ) p )Sn,Tp(logSn,Tp(e))


Pessoalmente, entendo sua confusão. Não parece natural usar as coordenadas " " para o espaço tangente. Sua pergunta é local, por isso, tomamos como coordenadas locais. As coordenadas usuais para o espaço tangente são . Dado condições razoáveis em de suavidade, não desaparecer derivado, etc., Em seguida, pela regra da cadeia, uma está a tomar a forma padrão do espaço tangente e multiplicando-o por funções, que, em geral, ainda será uma base . θiei(θ)=θilogpθ(x)θi pθθipθ
meh

Tentei editar meu comentário para maior clareza e não foi permitido. Deixe-me saber se você quiser mais detalhes.
meh

Obrigado @aginensky: Você quer dizer, porque , isso também é uma base para o espaço tangente, certo? θilogpθ(x)=1/pθ(x)θipθ(x)
Ashok

A declaração final é uma versão (corrompida) de uma definição de espaço tangente. Estritamente falando, o espaço tangente em um ponto de uma variedade diferenciável é o (espaço vetorial) dual ao espaço de derivações de germes de funções diferenciáveis ​​em uma vizinhança daquele ponto. Uma base para o dual é e, por definição , o é sua base dupla. Uma referência padrão sobre este material é o Volume 1 da Diferencial Geometria de Michael Spivak , amazon.com/… . { {dθi}{θi}
whuber

@ Ashok - sim. Eu consideraria o que escrevi baseado em uma versão concisa de uma definição de espaço tangente. Certamente, uma vez que o espaço cotangente é dual ao espaço tangente, poder-se-ia igualmente argumentar que é a verdadeira base dupla. De qualquer forma, contanto que o não desapareça, acho que você é bom. p θdθpθ
meh

Respostas:


2

Meus comentários são tão longos que estou colocando-os como resposta.

Eu acho que a questão é mais filosófica do que matemática neste momento. Ou seja, o que você quer dizer com espaço, e neste caso, uma variedade? A definição típica de uma variedade não envolve uma incorporação em um espaço afim. Essa é a abordagem 'moderna' (150 anos?). Por exemplo, para Gauss, um coletor era um coletor com uma incorporação específica em um espaço afim específico ( ). Se alguém tem um coletor com uma incorporação em um específico , então o espaço tangente (em qualquer ponto do coletor) é isomórfico para um subespaço específico do espaço tangente para nesse ponto. Observe que o espaço tangente a em qualquer ponto é identificado com o 'mesmo' . R n R n R n R nRnRnRnRnRn

Penso que o argumento é que, no artigo de Amari, o espaço a que ele se refere como vem com alguma incorporação "natural" em um espaço afim com coordenadas para as quais o pode ser considerado como coordenadas no espaço tangente de . Devo acrescentar que fica claro se a função é 'geral' em algum sentido - para degenerado , isso falhará. Por exemplo, se a função não envolver todas as variáveis . O ponto principal é que essa incorporação do coletor em um específico dá origem a uma identificação específica do espaço tangente com oθ i p θSnθipθ p p θ i R n p θ pSnppθiRnpθ. Seu próximo ponto é que, devido às propriedades de , ele pode mapear sua variedade usando a função log para outro espaço afim no qual o espaço tangente tem uma identificação diferente em termos das novas coordenadas (os logs e suas derivadas). Ele então diz que, devido às propriedades de sua situação, as duas variedades são isomórficas e o mapa induz um isomorfismo nos espaços tangentes. Isso leva a uma identificação (ou seja, isomorfismo) dos dois espaços tangentes. p

A idéia principal é que os dois espaços tangentes não sejam os mesmos conjuntos, mas sejam isomórficos (que são basicamente gregos para 'iguais') após a identificação correta. Por exemplo, o grupo de todas as permutações de o 'mesmo' grupo que o grupo de todas as permutações de ? Como um experimento simples, considere , os reais positivos mapeados para , todos os reais no log do mapa. Escolha seu número real favorito e considere o mapa em espaços tangentes. Finalmente estou entendendo sua pergunta? Uma ressalva é necessária, a saber, que a geometria diferencial não é minha principal área de especialização. Acho que entendi direito, mas sinta-se à vontade para criticar ou ainda questionar esta resposta.{ a , b , c } R + R > 0{1,2,3}{a,b,c}R+R>0


Seu significado de "isomórfico" não é totalmente claro, mas parece ser apenas muito fraco; isto é, o dado pelo pushforward de um mapa diferenciável invertível, que é apenas uma transformação linear invertível. A idéia principal para fazer geometria é obter uma métrica de Riemanninan significativa e útil definida no coletor. O sentido relevante de "isomorfismo" seria isometria : ou seja, o mapa entre os espaços tangentes deve preservar a distância. f
whuber

@whuber. De fato, meus comentários são apenas sobre a geometria diferencial da situação e o espaço tangente. Não estou absolutamente claro sobre quais condições no seriam necessárias para tornar o mapa uma isometria. Mas, como eu entendi a pergunta, estava realmente chegando à diferença entre uma identificação ('o mesmo') e um isomorfismo. p
meh

@ whuber: A métrica Riemanniana relevante aqui é dada por , onde . Isso sugere que também pode ser considerado como vetores tangentes? g i , j = x i p θ ( x ) j log p θ ( x ) j log p θG=[gi,j]gi,j=xipθ(x) jlogpθ(x)jlogpθ
Ashok
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.