Resultados de codificação de canal usando a complexidade de Kolmogorov

12

Normalmente, a entropia de Shannon é usada para provar os resultados da codificação de canal. Mesmo para os resultados da separação do canal de origem, é usada a entropia de Shannon. Dada a equivalência entre as noções de informação de Shannon (global) e Kolmogorov (local), houve um estudo para utilizar a complexidade de Kolmogorov para esses resultados (ou pelo menos para substituir a parte de codificação de origem nos resultados de separação de canais de origem)?

it.information-theory kolmogorov-complexity shannon-entropy

— vs
fonte

Você deu uma olhada na 3ª edição do livro Li & Vitanyi ? Se não me engano, o capítulo 8. do livro foi adicionado na edição mais recente e contém um capítulo sobre Teoria da Informação. Possui entropia de Shannon, informações mútuas, distorção de taxa etc. analisadas no sentido da complexidade de Kolmogorov.

— Juho

Oi, isso é verdade. Mas não há aplicação ao teorema da codificação barulhenta de Shannon!

— vs

8

Para a capacidade do canal, parece difícil substituir a entropia de Shannon pela complexidade de Kolmogorov. A definição de capacidade do canal não contém nenhuma menção à entropia. O uso da entropia de Shannon fornece a fórmula correta para a capacidade do canal (esse é o teorema de Shannon). Se você substituísse a fórmula pela entropia de Shannon por uma fórmula com complexidade de Kolmogorov, presumivelmente seria uma fórmula diferente e, portanto, seria a resposta errada .

$K$ $C$ $K/C$

A parte difícil do teorema da separação do canal de origem está mostrando que você não pode fazer melhor que o método óbvio (descrito no parágrafo anterior) de primeiro compactar e depois codificar. Não sei se alguém provou isso pela complexidade e capacidade do canal de Kolmogorov, mas é uma pergunta razoável a ser investigada.

— Peter Shor
fonte

K

$K$

K

$K$

1

C \leq 1

$C \leq 1$

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

1

Não tenho certeza do que você está falando quando usa os qualificadores locais / globais na entropia de Shannon e na complexidade de Kolmogorov.

Então me corrija se eu estiver errado.

A entropia de Shannon é computável. A complexidade de Kolmogorov não é. Portanto, eles não descrevem o mesmo problema.

Você podia ver a entropia de Shannon como um limite superior à complexidade de Kolmogrov.

— Phil
fonte

Como a entropia de Shannon é um limite superior? Eu acredito que está provado que ambos são iguais.

— T ....