Entropía conjunta: Difference between revisions
He añadido un código interesante para calcular la entropía
(Hola, en esta edición he ampliado la definición ya que estaba expuesta directamente la formulación matemática. Además, añadiendo su respectiva referencia.) |
(He añadido un código interesante para calcular la entropía) |
||
| Line 1: | Line 1: | ||
==Definición<ref name=":0">López-García, C.; Fernández-Veiga, M. (2013). ''Teoría de la información y codificación.'' Santiago de Compostela: Andavira. </ref>== | ==<big>Definición</big><ref name=":0">López-García, C.; Fernández-Veiga, M. (2013). ''Teoría de la información y codificación.'' Santiago de Compostela: Andavira. </ref>== | ||
< | <big>La <u>entropía conjunta</u> es un concepto en teoría de la información que describe la incertidumbre asociada con dos o más variables aleatorias. Es una medida de la cantidad promedio de información compartida entre estas variables en un sistema, es decir, mide cuánta información promedio se necesita para describir conjuntamente las dos variables aleatorias. Si X e Y son independientes, la entropía conjunta es igual al producto de sus entropías individuales. Sin embargo, si X e Y están correlacionadas, será menor que la suma de las entropías individuales, ya que parte de la información se comparte entre ellas.<ref>Díaz-Nafría, JM.; García-Tejero, A. (2023).Teoría de la información. UDIMA.</ref></big> | ||
< | <big>Dadas dos variables aleatorias discretas <math>X</math> e <math>Y</math> de rango discreto y finito <math display="inline">X=\{x_1, x_2 ... x_n\}</math> e <math display="inline">Y=\{y_1, y_2 ... y_m\}</math> con funciones de probabilidad <math>p_x(x) = P(X=x)</math> y <math>p_y(y) = P(Y=y)</math>, se define la '''entropía conjunta''' de <math>X</math> e <math>Y</math> como la entropía de la variable aleatoria bidimensional <math>(X, Y)</math>, con rango discreto y finito <math>X \times Y = \{ f(x_i, y_i): x_i \in X; y_i \in Y\} </math> y función de probabilidad <math>p(x,y) = P(X=x, Y=y)</math>.</big> | ||
< | <big><math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math></big> | ||
=== < | === <big>Teorema de relación entre las [[Entropía o cantidad de información|entropías individuales]] y la conjunta<ref name=":0" /></big> === | ||
< | <big>Se verifica en general que la entropía conjunta de dos variables aleatorias no puede superar a la suma de las entropías de dichas variables aleatorias consideradas por separado.</big> | ||
< | <big><math>H(X,Y) \leq H(X) + H(Y)</math></big> | ||
< | <big>Siendo condición necesaria y suficiente que las variables aleatorias <math>X</math> e <math>Y</math> sean independientes entre sí para que se cumpla que</big> | ||
< | <big><math>H(X,Y) = H(X) + H(Y)</math></big> | ||
= <big>Código</big> = | |||
<big>Vamos a mostrar un ejemplo simple de cómo calcular la entropía conjunta en Matlab para dos variables discretas.<ref>MathWorks.(1994-2023).Manuales de Referencia.</ref></big><syntaxhighlight lang="matlab"> | |||
% Definir dos variables aleatorias discretas | |||
X = [1, 2, 3]; % Valores posibles para la variable X | |||
Y = [4, 5, 6]; % Valores posibles para la variable Y | |||
% Definir las probabilidades conjuntas P(X, Y) | |||
P = [0.1, 0.2, 0.1; 0.2, 0.1, 0.1; 0.1, 0.1, 0.1]; | |||
% Calcular la entropía conjunta H(X, Y) | |||
H = -sum(sum(P .* log2(P + eps))); % 'eps' se agrega para evitar el logaritmo de cero | |||
% Mostrar los resultados | |||
disp('Probabilidades conjuntas:'); | |||
disp(P); | |||
disp(['Entropía conjunta H(X, Y): ', num2str(H)]); | |||
</syntaxhighlight><big>Este código define dos variables aleatorias discretas, x e y, con valores posibles [1, 2, 3] y [4, 5, 6], respectivamente. Luego, define las probabilidades conjuntas en la matriz P. La entropía conjunta se calcula utilizando la fórmula de entropía:</big> | |||
<big><math> | |||
H(X,Y)= -(\sum)x(\sum)y*P(x,y)*\log2(P(x,y))</math></big> | |||
<big>Donde P(x,y) es la probabilidad conjunta de los valores x e y de las variables X e Y.</big> | |||
== <big>Referencias</big> == | == <big>Referencias</big> == | ||