Información mutua

[gL.edu] Este artículo recoge contribuciones de Rubén Guzmán, elaboradas en el contexto de la Clarificación conceptual en torno a la "teoría de la información", bajo la supervisión de José María Díaz Nafría.

Definición

Dentro del contexto de la teoría de la información (o de la teoría matemáticamente de comunicación, inicialmente propuesta por C. Shannon) se define la información mutua $I(X;Y)$ entre dos variables aleatorias discretas $X$ e $Y$ como:

$I(X;Y)=H(X)-H(X|Y)$

Siendo $H(X)$ la entropía de $X$ y $H(X|Y)$ la entropía condicional de $X$ dada $Y$.

Si la entropía es una medida de la incertidumbre de $X$ y la entropía condicional mide la incertidumbre de $X$ conociendo $Y$, podemos considerar que la información mutua entre $X$ e $Y$ es la información que el conocimiento de $Y$ nos aporta sobre $X$.

Propiedades

Simetría: $I(X;Y)=I(Y;X)⟹H(X)-H(X|Y)=H(Y)-H(Y|X)$

Es decir, la información que $Y$ nos aporta sobre $X$ es igual a la información que $X$ nos aporta sobre $Y$.

Esta propiedad se puede demostrar aplicando la regla de la cadena que relaciona la entropía condicional con la entropía conjunta:

$H(X)+H(Y|X)=H(Y)+H(X|Y)=H(X,Y)$

No negatividad: $I(X;Y)\ge 0$, siendo $I(X;Y)=0$ si y sólo si $X$ e $Y$ son independientes entre sí .

Propiedad que puede deducirse por la definición de información mutua, y por la consideración de que la incertidumbre de $X$ conociendo $Y$ será menor o igual que la incertidumbre de $X$ sin condicionantes, $H(X|Y)\le H(X)$. Además, dichas incertidumbres serán iguales si las variables son independientes, por tanto $H(X|Y)=H(X)$

Mínimo de entropías individuales: $I(X;Y)\le \min [H(X),H(Y)]$

A lo que se puede llegar partiendo de las desigualdades:

$I(X;Y)=H(X)-H(X|Y)\le H(X)$

$I(X;Y)=H(Y)-H(Y|X)\le H(Y)$