Entropía conjunta: Difference between revisions
Ajuste de formato, eliminación de información redundante y referencias no válidas.
No edit summary |
(Ajuste de formato, eliminación de información redundante y referencias no válidas.) |
||
| Line 1: | Line 1: | ||
==Definición | ==Definición== | ||
La '''entropía conjunta''' es un concepto en teoría de la información que describe la incertidumbre asociada con dos o más variables aleatorias. Es una medida de la cantidad promedio de información compartida entre estas variables en un sistema, es decir, mide cuánta información promedio se necesita para describir conjuntamente las dos variables aleatorias. | |||
Dadas dos variables aleatorias discretas <math>X</math> e <math>Y</math> de rango discreto y finito <math display="inline">X=\{x_1, x_2 ... x_n\}</math> e <math display="inline">Y=\{y_1, y_2 ... y_m\}</math> con funciones de probabilidad <math>p_x(x) = P(X=x)</math> y <math>p_y(y) = P(Y=y)</math>, se define la '''entropía conjunta''' de <math>X</math> e <math>Y</math> como la entropía de la variable aleatoria bidimensional <math>(X, Y)</math>, con rango discreto y finito <math>X \times Y = \{ f(x_i, y_i): x_i \in X; y_i \in Y\} </math> y función de probabilidad <math>p(x,y) = P(X=x, Y=y)</math>. | |||
Dadas dos variables aleatorias discretas <math>X</math> e <math>Y</math> de rango discreto y finito <math display="inline">X=\{x_1, x_2 ... x_n\}</math> e <math display="inline">Y=\{y_1, y_2 ... y_m\}</math> con funciones de probabilidad <math>p_x(x) = P(X=x)</math> y <math>p_y(y) = P(Y=y)</math>, se define la '''entropía conjunta''' de <math>X</math> e <math>Y</math> como la entropía de la variable aleatoria bidimensional <math>(X, Y)</math>, con rango discreto y finito <math>X \times Y = \{ f(x_i, y_i): x_i \in X; y_i \in Y\} </math> y función de probabilidad <math>p(x,y) = P(X=x, Y=y)</math><ref name=":0">López-García, C.; Fernández-Veiga, M. (2013). ''Teoría de la información y codificación.'' Santiago de Compostela: Andavira. </ref>. | |||
<math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math> | <math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math> | ||
| Line 15: | Line 16: | ||
<math>H(X,Y) = H(X) + H(Y)</math> | <math>H(X,Y) = H(X) + H(Y)</math> | ||
=Código= | == Código == | ||
Vamos a mostrar un ejemplo simple de cómo calcular la entropía conjunta en Matlab para dos variables discretas. | Vamos a mostrar un ejemplo simple de cómo calcular la entropía conjunta en Matlab para dos variables discretas.<syntaxhighlight lang="matlab"> | ||
% Definir dos variables aleatorias discretas | % Definir dos variables aleatorias discretas | ||
X = [1, 2, 3]; % Valores posibles para la variable X | X = [1, 2, 3]; % Valores posibles para la variable X | ||