Questões relacionadas à entropia

Há muito que enfrento a confusão em relação à entropia e seria obrigado se o seguinte fosse respondido em um jargão menos técnico. Seguindo o link Diferentes tipos de entropia levantam as seguintes questões

1. Entropia - É desejável que a entropia do sistema seja maximizada. Maximizar a entropia significa que nenhum símbolo é melhor que os outros ou não sabemos qual seria o próximo símbolo / resultado. No entanto, a fórmula declara um sinal negativo antes do somatório dos logaritmos de probabilidade. Assim, significa que estamos maximizando um valor negativo !! Então, se um sinal bruto original é quantizado e a entropia da informação quantizada é calculada e considerada menor que a entropia original implicaria perda de informação. Então, por que queremos maximizar a entropia, pois isso significa que estamos maximizando a incerteza do próximo símbolo, enquanto queremos ter certeza sobre o que seria a próxima ocorrência do símbolo.
2. Quais são as diferenças entre entropia de Shannon, entropia topológica e entropia de origem?
3. Qual é exatamente o significado da complexidade de Kolgomorov ou da entropia de Kolgomorov. Como isso está relacionado à entropia de Shannon?
4. Quais informações as informações mútuas entre dois vetores transmitem?

Vou tentar abordar as questões 1 e 4.

1) Entropia - É desejável que a entropia do sistema seja maximizada. Maximizar a entropia significa que nenhum símbolo é melhor que os outros ou não sabemos qual seria o próximo símbolo / resultado. No entanto, a fórmula declara um sinal negativo antes do somatório dos logaritmos de probabilidade. Assim, significa que estamos maximizando um valor negativo !!

Não, os valores dos próprios logaritmos são negativos, portanto o sinal negativo os torna positivos. Todas as probabilidades são um número real de 0 a 1, inclusive. O log de 1 é zero e o log de algo menor que 1 é negativo. Isso pode parecer problemático, já que o log de 0 é , mas estamos realmente tentando maximizar o valor esperado desses logs, portanto, quando multiplicamos pela probabilidade em si, o valor inteiro se aproxima de 0, não de . A entropia atinge o pico quando a probabilidade é .$-\infty$$\infty$$1/2$

Então, por que queremos maximizar a entropia, pois isso significa que estamos maximizando a incerteza do próximo símbolo, enquanto queremos ter certeza sobre o que seria a próxima ocorrência do símbolo.

Não, na comunicação de informações, NÃO queremos absolutamente ter certeza sobre qual será o próximo símbolo. Se temos certeza, que informações são obtidas ao recebê-las? Nenhum. É somente pela incerteza sobre o que o transmissor enviará que podemos receber qualquer informação.

4) Quais informações as informações mútuas entre dois vetores transmitem?

Quando há informações mútuas entre dois vetores, saber algo sobre um diz algo sobre o outro. Matematicamente, isso equivale ao seguinte conhecimento de um vetor afeta as probabilidades do outro vetor. Se eles fossem independentes, este não seria o caso.

Um exemplo de informação mútua são os walkie-talkies digitais. Um vetor é o fluxo de bits que o primeiro walkie-talkie envia. O segundo vetor é o sinal que o segundo walkie-talkie recebe. Os dois estão obviamente relacionados, mas devido ao ruído e às condições desconhecidas do canal, o segundo walkie-talkie não pode ter certeza do que o primeiro enviou. Pode fazer algumas suposições realmente boas com base no sinal, mas não pode ter certeza.