Entropía conjunta: Difference between revisions
Modificaciones para no repetir expresiones matemáticas.
No edit summary |
(Modificaciones para no repetir expresiones matemáticas.) |
||
| Line 1: | Line 1: | ||
==Definición== | ==Definición== | ||
La '''entropía conjunta''' es un concepto en teoría de la información que describe la incertidumbre asociada con dos o más variables aleatorias. Es una medida de la cantidad promedio de información compartida entre estas variables en un sistema, es decir, mide cuánta información promedio se necesita para describir conjuntamente las dos variables aleatorias. | La '''entropía conjunta''' es un concepto en teoría de la información que describe la incertidumbre asociada con dos o más variables aleatorias. Es una medida de la cantidad promedio de información compartida entre estas variables en un sistema, es decir, mide cuánta información promedio se necesita para describir conjuntamente las dos variables aleatorias. | ||
Dadas dos variables aleatorias discretas <math>X</math> e <math>Y</math> de rango discreto y finito <math display="inline">X=\{x_1, x_2 ... x_n\}</math> e <math display="inline">Y=\{y_1, y_2 ... y_m\}</math> con funciones de probabilidad <math>p_x(x) = P(X=x)</math> y <math>p_y(y) = P(Y=y)</math>, se define la '''entropía conjunta''' de <math>X</math> e <math>Y</math> como la entropía de la variable aleatoria bidimensional <math>(X, Y)</math>, con rango discreto y finito <math>X \times Y = \{ f(x_i, y_i): x_i \in X; y_i \in Y\} </math> y función de probabilidad <math>p(x,y) = P(X=x, Y=y)</math><ref name=":0">López-García, C.; Fernández-Veiga, M. (2013). ''Teoría de la información y codificación.'' Santiago de Compostela: Andavira. </ref>. | Dadas dos variables aleatorias discretas <math>X</math> e <math>Y</math> de rango discreto y finito <math display="inline">X=\{x_1, x_2 ... x_n\}</math> e <math display="inline">Y=\{y_1, y_2 ... y_m\}</math> con funciones de probabilidad <math>p_x(x) = P(X=x)</math> y <math>p_y(y) = P(Y=y)</math>, se define la '''entropía conjunta''' de <math>X</math> e <math>Y</math> como la entropía de la variable aleatoria bidimensional <math>(X, Y)</math>, con rango discreto y finito <math>X \times Y = \{ f(x_i, y_i): x_i \in X; y_i \in Y\} </math> y función de probabilidad <math>p(x,y) = P(X=x, Y=y)</math><ref name=":0">López-García, C.; Fernández-Veiga, M. (2013). ''Teoría de la información y codificación.'' Santiago de Compostela: Andavira. </ref>. | ||
<math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math> | <math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math> | ||
===Teorema de relación entre las [[Entropía o cantidad de información|entropías individuales]] y la conjunta=== | ===Teorema de relación entre las [[Entropía o cantidad de información|entropías individuales]] y la conjunta=== | ||
| Line 17: | Line 16: | ||
==Código== | ==Código== | ||
A continuación se muestra un ejemplo simple de cómo calcular la entropía conjunta en Matlab para dos variables aleatorias discretas.<syntaxhighlight lang="matlab"> | |||
% Definir dos variables aleatorias discretas | % Definir dos variables aleatorias discretas | ||
X = [1, 2, 3]; % Valores posibles para la variable X | X = [1, 2, 3]; % Valores posibles para la variable X | ||
| Line 33: | Line 32: | ||
disp(['Entropía conjunta H(X, Y): ', num2str(H)]); | disp(['Entropía conjunta H(X, Y): ', num2str(H)]); | ||
</syntaxhighlight> | </syntaxhighlight>Utilizando la expresión matemática definida anteriormente, este código calcula la entropía conjunta utilizando como parámetros de entrada: | ||
* dos variables aleatorias discretas, <math>X</math> e <math>Y</math>, con valores posibles <math>[1, 2, 3]</math> y <math>[4, 5, 6]</math>, respectivamente, y | |||
* las probabilidades conjuntas en la matriz <math>P</math>. | |||
==Referencias== | ==Referencias == | ||
<references /> | <references /> | ||