Informação mútua como probabilidade

Poderia a informação mútua sobre a entropia conjunta:

0 \leq \frac{I (X, Y)}{H (X, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

ser definido como: "A probabilidade de transmitir uma informação de X para Y"?

Sinto muito por ser tão ingênuo, mas nunca estudei teoria da informação e estou apenas tentando entender alguns conceitos disso.

information-theory mutual-information

— luca maggi
fonte

Bem-vindo ao CV, luca maggi! Que primeira pergunta adorável!

— Alexis

Respostas:

A medida que você está descrevendo é chamada de Índice de qualidade da informação [IQR] (Wijaya, Sarno e Zulaika, 2017). IQR é uma informação mútua dividida por "incerteza total" (entropia conjunta) (fonte da imagem: Wijaya, Sarno e Zulaika, 2017). $I(X,Y)$ $H(X,Y)$

Conforme descrito por Wijaya, Sarno e Zulaika (2017),

o intervalo de IQR é . O maior valor (IQR = 1) pode ser alcançado se o DWT puder reconstruir perfeitamente um sinal sem perder informações. Caso contrário, o valor mais baixo (IQR = 0) significa que o MWT não é compatível com um sinal original. Em outras palavras, um sinal reconstruído com MWT específico não pode manter informações essenciais e totalmente diferente das características originais do sinal. $[0,1]$

Você pode interpretá-lo como probabilidade de que o sinal seja perfeitamente reconstruído sem perda de informações . Observe que essa interpretação está mais próxima da interpretação subjetivista da probabilidade e depois da interpretação tradicional e freqüentista.

É uma probabilidade de um evento binário (reconstruir informações versus não), em que IQR = 1 significa que acreditamos que as informações reconstruídas são confiáveis e IQR = 0 significa o contrário. Ele compartilha todas as propriedades para probabilidades de eventos binários. Além disso, as entropias compartilham várias outras propriedades com probabilidades (por exemplo, definição de entropias condicionais, independência etc). Portanto, parece uma probabilidade e grasna.

Wijaya, DR, Sarno, R. e Zulaika, E. (2017). Índice de qualidade da informação como uma nova métrica para a seleção de wavelets mãe. Chemometrics and Intelligent Laboratory Systems, 160, 59-71.

— Tim
fonte

Como a função IQR é definida para para verificar as propriedades definidoras da medida de probabilidade? Você está introduzindo e com onde é a função característica?

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

— Hans

Bem, minha pergunta é direcionada para uma parte da sua resposta e não para uma pergunta independente. Você está sugerindo que eu abro uma nova pergunta, vinculo e direciono para sua resposta?

— Hans

@ Hans O que eu disse é que essa medida se encaixa facilmente na definição, me corrija se eu estiver errado. Os axiomas 1. e 2. são óbvios. Para o axioma 3.,

é a sobreposição,

é o espaço total; portanto, a fração pode ser facilmente vista como probabilidade.

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

— Tim

Uma probabilidade é definida em um espaço de amostra e seu campo sigma

. Estou confuso sobre o que são esses para esta medida de probabilidade IQR. Já existe um espaço de amostra e o seu campo de sigma para a medida de probabilidade definidos para as variáveis aleatórias

. O espaço e o campo da amostra da nova medida de probabilidade IQR são os mesmos da medida de probabilidade antiga associada a

? Caso contrário, como eles são definidos? Ou você está dizendo que isso não precisa ser definido? Como, então, você confere os axiomas?

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

— Hans

@ Hans, afirmei explicitamente que isso é consistente com axiomas, mas é difícil dizer a probabilidade do que exatamente isso seria. A interpretação que sugeri é provavelmente de reconstruir o sinal. Esta não é uma distribuição de probabilidade de X ou Y. Acho que você poderia aprofundar a interpretação e a compreensão. A questão era se isso poderia ser interpretado como probabilidade e a resposta era formalmente sim.

— Tim

Aqui está a definição de um espaço de probabilidade. Vamos usar as anotações lá. IQR é uma função de uma tupla $(\Omega,\mathscr F,P,X,Y)$ (Os três primeiros componentes formam o espaço de probabilidade em que as duas variáveis aleatórias são definidas). Uma medida de probabilidade deve ser uma função definida que satisfaça todas as condições da definição listada na resposta de Tim. Será necessário especificar $\Theta:=(\Omega,\mathscr F,P,X,Y)$ como algum subconjunto de um conjunto $\tilde\Omega$ . Além disso, o conjunto de $\Theta$ deve formar um campo de subconjuntos de $\tilde\Omega$ , e que o $\text{IQR}(\Omega,\mathscr F,P,X,Y)$ deve satisfazer todas as três propriedades listadas na definição de medida de probabilidade listada na resposta de Tim. Até que alguém construa esse objeto, é errado dizer que o IQR é uma medida de probabilidade. Eu, pelo menos não vejo a utilidade de uma medida de probabilidade tão complicada (não a função IQR em si, mas como uma medida de probabilidade). O IQR no artigo citado na resposta de Tim não é chamado ou usado como probabilidade, mas como métrica (o primeiro é um tipo do último, mas o último não é um tipo do primeiro).

$[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$

— Hans
fonte

(x_{i}, y_{i})

$(x_i, y_i)$

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

Esse também é o caso se você usar uma rede neural complicada com a função de ativação sigmóide no final, você pode provar que a saída é probabilidade em termos teórico-métricos? No entanto, geralmente escolhemos interpretar isso como probabilidade.

— Tim

[0, 1]

$[0,1]$

A

$A$

P (A) := μ (f (A))

$P(A):=\mu(f(A))$

μ

$\mu$

R

$R$

f

$f$

Desculpe, mas nunca achei esse tipo de discussão e teoria da medida interessante, então vou me afastar da discussão adicional. Também não entendo sua opinião aqui, especialmente porque seu último parágrafo parece dizer exatamente a mesma coisa que eu estava dizendo desde o início.

— Tim