Teoria da informação e otimização convexa

Estou fazendo um curso de pós-graduação em teoria da informação e fico constantemente impressionado com a quantidade de otimização convexa existente nesse assunto. No entanto, as provas parecem evitar o uso de toda a maquinaria da teoria do relaxamento, da dualidade etc. Isso é compreensível, pois você não deseja exigir um semestre inteiro de otimização convexa para ensinar essas coisas. Mas como alguém bastante versado em otimização, sinto que estou perdendo muita elegância e intuição quando esses links não são mais explorados. Costumo notar provas que seriam bem mais curtas se você também tivesse utilizado a análise convexa.

Existem livros que cobrem mais a teoria da informação sob essa perspectiva? Estamos usando principalmente anotações de Stefan Moser, Y. Polyanskiy e Y. Wu, bem como a Teoria da informação de rede de El Gamal.

reference-request it.information-theory convex-optimization

— luegofuego
fonte

Você pode dar um exemplo dessa "elegância e intuição" em outro contexto?

— Kodlu # 28/15

Bem, como um dos muitos exemplos, estávamos falando sobre propriedades do ponto de sela da capacidade do canal. Eu acredito que é chamado de formulação minmax da divergência KL ou algo assim. Está bem coberto nas notas de Polyanskiy que mencionei acima. O que me impressionou é que parecia ser exatamente uma re-afirmação do relaxamento / dualidade lagrangiana em um contexto diferente.

— Luegofuego 29/04

Um exemplo um pouco mais mundano pode ser quando fomos convidados a provar a convexidade da função taxa de distorção, que é uma prova de uma linha se você se lembra algumas propriedades de infimums mais de conjuntos convexos etc.

— luegofuego

Os livros abaixo podem ser mais do seu agrado, mas, em geral, os textos / notas de aula são escritos para o uso (principalmente) de estudantes de pós-graduação em engenharia e não podem presumir um profundo conhecimento da análise convexa.

Csizsar, I. e Korner, J., Teoria da Informação: Teoremas de Codificação para Sistemas Sem Memória Discreta, 2ª Ed, Cambridge.
Berger, T., Theory Distortion Theory, bastante antigo, provavelmente no final dos anos 70 ou início dos anos 80, não consegue se lembrar da editora, talvez Wiley.
Yeung, RW, Um Primeiro Curso em Teoria da Informação, Springer.

Os artigos de pesquisa sobre a teoria de Shannon e campos relacionados, digamos, em transações do IEEE sobre a teoria da informação, podem se encaixar melhor, embora nem sempre.

Um texto antigo que também pode ser interessante é

Wolfowitz, J., Teoremas de codificação da teoria da informação, Springer, 1960's.

— kodlu
fonte

apenas um comentário, depende do que seria considerado "profundo"; por exemplo, considero a teoria da informação mais profunda que a análise convexa (por exemplo, porque tem mais aplicações em diversos campos) e prefiro reduzir a análise convexa à teoria da informação de vice-versa. Isso pode ser feito se alguém quiser (digamos como os teóricos das categorias gostariam de reduzir tudo a categorias, em vez de álgebra :)).

— Nikos M.

@ Nikos M., absolutamente, e eu simpatizo. Por exemplo, alguns problemas da teoria da informação dão origem a regiões de capacidade não convexa, por exemplo, OFDMA.

— Kodlu 5/05