Relação entre entropia e SNR

Em geral, qualquer forma de inscrição é definida como incerteza ou aleatoriedade. Em um ambiente barulhento, com aumento de ruído, acredito que a entropia aumenta, pois temos mais incerteza sobre o conteúdo da informação do sinal desejado. Qual é a relação entre entropia e SNR? Com o aumento da relação sinal / ruído, a potência do ruído diminui, mas isso não implica que o conteúdo de informações do sinal aumente !! O conteúdo da informação pode permanecer o mesmo; isso significa que a entropia não é afetada?

Quando você diz que o "conteúdo da informação pode permanecer o mesmo", você quer dizer a informação no sinal total ou a informação do sinal desejado? Espero que isso responda aos dois casos. Conheço a entropia de Shannon muito melhor que Kolmogorov, então usarei isso, mas espero que a lógica se traduza.

Digamos é o sinal total ( X ), composto pela soma do seu sinal desejado S e seu ruído componente N . Vamos chamada entropia H . Como você disse, o ruído adiciona entropia ao sistema, aumentando sua complexidade. No entanto, não é necessariamente apenas porque estamos mais incertos sobre o conteúdo de informações do sinal, mas porque há mais incerteza no sinal em geral. Se o tipo SNR mede quão certo somos do que S é, então H ( X ) mede o quão bem podemos prever estados futuros de $X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$com base no estado atual de . A entropia preocupa-se com a complexidade do sinal, independentemente da composição do ruído versus o não-ruído.$X$

Se você aumenta o SNR removendo o ruído (atenuando ), diminui a complexidade total do sinal X e, portanto, sua entropia. Você não perdeu qualquer informação transportada por S , apenas as informações (presumivelmente sem sentido) realizada por N . Se N é ruído aleatório, obviamente ele não carrega informações significativas, mas é necessária uma certa quantidade de informações para descrever o estado de N , determinado pelo número de estados em que N pode estar e pela probabilidade de estar em cada um desses estados. Essa é a entropia.$N$$X$$S$$N$$N$$N$

Podemos observar duas distribuições gaussianas com diferentes variações, digamos, uma com variação de e a outra com variação de 100 . Olhando apenas a equação para uma distribuição gaussiana, vemos que a distribuição V a r = 100 tem uma probabilidade máxima de apenas $1$$100$$Var=100$ o valor daprobabilidadedevar=1distr. Por outro lado, isso significa que há uma maior probabilidade de queVar=100distr aceite valores diferentes da média ou que haja mais certeza de que adistribuiçãoVar=1levará valores próximos à média. Portanto, adistribuiçãoVar=1tem uma entropia menor que adistribuiçãoVar=100.$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$

Estabelecemos que uma maior variância implica maior entropia. Observando a propagação de erros, também é verdade que (igual a X , Y independente ). Se X = S + N , então para entropia H , H ( X ) = H ( S + N ) . Desde a$Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$ é (indiretamente) uma função da variância, podemos manipular um pouco as coisas para dizer H ( V a r [ X ] ) = H ( V a r [ S + N ] ) . Para simplificar, dizemos que S e N são independentes, então H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ $H$$H(Var[X]) = H(Var[S+N])$$S$$N$ . SNR aprimorado geralmente significa atenuar a potência do ruído. Este novo sinal com SNR maior será então X = S + ( $H(Var[X]) = H(Var[S] + Var[N])$, parak>1. A entropia se tornaH(Var[X])=H(Var[S]+(1/k)2∗Var[N]). ké maior que1, entãoVar[N]diminui quando N é atenuado. SeV$X = S + (\frac {1} {k})N$$k>1$$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$ diminui, assim como V a r [ S + N ] e, portanto, V a r [ X ] , resultando em uma diminuição de H ( X ) .$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

Não é muito conciso, desculpe. Em suma, 's entropia diminui se você aumentar SNR, mas você não fez nada para S ' informações s. Não consigo encontrar as fontes no momento, mas há um método para calcular SNR e informações mútuas (uma medida bivariada semelhante à entropia) um do outro. Talvez o principal argumento seja que SNR e entropia não medem a mesma coisa.$X$$S$

Aqui está uma citação de [1, p. 186]para você, OP ou Googler, começar:

Muito aproximadamente, $\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

Aqui $\mathcal{H}$ é a entropia negativa da distribuição posterior dos parâmetros do seu modelo de sinal. Boa sorte!

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006