Limitar informações mútuas dadas limites em informações mútuas pontuais

Suponha que eu tenha dois conjuntos e e uma distribuição de probabilidade conjunta sobre esses conjuntos . Deixe e representam as distribuições marginais mais de e , respectivamente. $X$ $Y$ $p(x,y)$ $p(x)$ $p(y)$ $X$ $Y$

As informações mútuas entre e são definidas como: $X$ $Y$

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

ou seja, é o valor médio das informações mútuas pontuais pmi $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$ .

Suponha que eu conheça os limites superior e inferior no pmi $(x,y)$ : ou seja, eu sei que para todos os $x,y$ o seguinte vale:

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

Qual limite superior isso implica em $I(X; Y)$ . É claro que implica $I(X; Y) \leq k$ , mas eu gostaria de um limite mais rígido, se possível. Isso me parece plausível porque p define uma distribuição de probabilidade e pmi $(x,y)$ não pode assumir seu valor máximo (ou mesmo não ser negativo) para todos os valores de $x$ e $y$ .

entropy mutual-information information-theory

— Florian
fonte

Quando as probabilidades conjunta e marginal são uniformes, pmi (

x

$x$ ,

y

$y$ ) é uniformemente zero (e, portanto, não negativo, aparentemente contradiz sua última afirmação, mas apenas por pouco). Parece-me, se não me engano, que perturbar essa situação em pequenos subconjuntos de

X \times Y

$X \times Y$ indica que os limites no pmi não dizem quase nada sobre o próprio

I (X; Y)

$I(X;Y)$ .

— whuber

De fato, se e são independentes, então é constante, independentemente das distribuições marginais. Portanto, há toda uma classe de distribuições para as quais obtém seu valor máximo para cada e .

X

$X$

Y

$Y$

p m i (x, y)

$\mathrm{pmi}(x,y)$

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— cardeal

Sim, certamente é verdade que pmi pode ser igual para todos e , mas isso não descarta um limite mais restrito. Por exemplo, não é difícil provar que . Isso é quando e é um fortalecimento não trivial do limite quando . Gostaria de saber se existem limites não triviais que se mantêm de maneira mais geral.

(x, y)

$(x,y)$

x

$x$

y

$y$

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— Florian

Duvido que você obtenha um limite melhor que para . Se você quiser procurar mais, tente reestruturar sua pergunta em termos da divergência de KL entre p (x) p (y) ep (x, y). A desigualdade de Pinsker fornece um limite inferior no MI que pode confirmar meu palpite. Veja também a Seção 4 de ajmaa.org/RGMIA/papers/v2n4/relog.pdf .

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv

Respostas:

Minha contribuição consiste em um exemplo. Ele ilustra alguns limites de como as informações mútuas podem ser limitadas, com base nas informações mútuas pontuais.

Tome e para todos . Para qualquer seja a solução da equação $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$ Em seguida, colocar ponto de massa

pontos no espaço de produto

, de tal maneira que há

desses pontos em cada fila e de cada coluna. (Isso pode ser feito de várias maneiras. Comece, por exemplo, com os primeiros

pontos na primeira linha e preencha as linhas restantes deslocando os

pontos um para a direita com uma condição de contorno cíclico para cada linha). Colocamos a massa pontual

restante

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$

e^{- k} / n^{2}

$e^{-k}/n^2$

pontos. A soma dessas massas pontuais é

n^{2} - n m

$n^2 - nm$

então eles fornecem uma medida de probabilidade. Todas as probabilidades de pontos marginais são

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

então ambas as distribuições marginais são uniformes.

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

Pela construção, é claro que para todos os e (após alguns cálculos) $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$ com a informação mútua comportar comoparae comopara.

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
fonte

Não tenho certeza se é isso que você está procurando, pois é principalmente algébrico e não está realmente aproveitando as propriedades de p como uma distribuição de probabilidade, mas aqui está algo que você pode tentar.

$\frac{p(x,y)}{p(x)p(y)}\leq e^k$ $p(x,y)\leq p(x)p(y)\cdot e^k$ $p(x,y)$ $I(X;Y)$ $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

Não tenho certeza se isso é útil ou não.

EDIT: Após uma revisão mais aprofundada, acredito que isso é realmente menos útil do que o limite superior original de k. Não vou excluir isso, no entanto, caso isso possa sugerir um ponto de partida.

— Michael McGowan
fonte

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$

k \geq 0

$k \ge 0$

e^{k} \geq 1

$e^k \ge 1$

Sim, quando percebi que fiz minha edição.

— Michael McGowan