Entropía conjunta

[gL.edu] Este artículo recoge contribuciones de Julio Garvía Honrado, Irene Salinero, Rubén Guzmán, elaboradas en el contexto de la Clarificación conceptual en torno a la "teoría de la información", bajo la supervisión de José María Díaz Nafría.

Definición

Dentro del contexto de la teoría de la información (o de la teoría matemática de la comunicación, inicialmente propuesta por C. Shannon), la entropía conjunta describe la incertidumbre asociada con dos o más variables aleatorias. Se trata de una medida de la cantidad promedio de información compartida entre estas variables en un sistema, es decir, mide cuánta información promedio se necesita para describir conjuntamente las dos variables aleatorias.

Dadas dos variables aleatorias discretas $X$ e $Y$ de rango discreto y finito ${\textstyle X=\{x_{1},x_{2}...x_{n}\}}$ e ${\textstyle Y=\{y_{1},y_{2}...y_{m}\}}$ con funciones de probabilidad $p_{x}(x)=P(X=x)$ y $p_{y}(y)=P(Y=y)$, se define la entropía conjunta de $X$ e $Y$ como la entropía de la variable aleatoria bidimensional $(X,Y)$, con rango discreto y finito $X\times Y=\{f(x_{i},y_{i}):x_{i}\in X;y_{i}\in Y\}$ y función de probabilidad $p(x,y)=P(X=x,Y=y)$.

$H(X,Y)=\sum _{i=1}^{n}\sum _{j=1}^{m}p(x_{i},y_{j})\log {\frac {1}{p(x_{i},y_{j})}}$

Relaciones con otras entropías

Relación con las entropías individuales

Se verifica, en general, que la entropía conjunta de dos variables aleatorias no puede superar a la suma de las entropías de dichas variables aleatorias consideradas por separado.

$H(X,Y)\leq H(X)+H(Y)$

Siendo condición necesaria y suficiente que las variables aleatorias $X$ e $Y$ sean independientes entre sí para que se cumpla que

$H(X,Y)=H(X)+H(Y)$

Relación con la entropía condicional

La entropía condicional $H(X|Y)$, entendida como la incertidumbre de $X$ cuando $Y$ es conocida, se relaciona con la entropía conjunta mediante la siguiente expresión, conocida como regla de la cadena:

$H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$

Si las variables $X$ e $Y$ son independientes, tenemos que $H(Y|X)=H(Y)$ y $H(X|Y)=H(X)$, corroborando la igualdad citada en el teorema anterior.

Código

A continuación se muestra un ejemplo simple de cómo calcular la entropía conjunta en Matlab para dos variables aleatorias discretas.

% Definir dos variables aleatorias discretas
X = [1, 2, 3]; % Valores posibles para la variable X
Y = [4, 5, 6]; % Valores posibles para la variable Y

% Definir las probabilidades conjuntas P(X, Y)
P = [0.1, 0.2, 0.1; 0.2, 0.1, 0.1; 0.1, 0.1, 0.1];

% Calcular la entropía conjunta H(X, Y)
H = -sum(sum(P .* log2(P + eps))); % 'eps' se agrega para evitar el logaritmo de cero

% Mostrar los resultados
disp('Probabilidades conjuntas:');
disp(P);
disp(['Entropía conjunta H(X, Y): ', num2str(H)]);

Utilizando la expresión matemática definida anteriormente, este código calcula la entropía conjunta utilizando como parámetros de entrada: (i) dos variables aleatorias discretas, $X$ e $Y$, con valores posibles $[1,2,3]$ y $[4,5,6]$, respectivamente, y (ii) las probabilidades conjuntas en la matriz $P$.