Entropía conjunta: Difference between revisions
no edit summary
(Ajuste de formato, eliminación de información redundante y referencias no válidas.) |
No edit summary |
||
| Line 5: | Line 5: | ||
Dadas dos variables aleatorias discretas <math>X</math> e <math>Y</math> de rango discreto y finito <math display="inline">X=\{x_1, x_2 ... x_n\}</math> e <math display="inline">Y=\{y_1, y_2 ... y_m\}</math> con funciones de probabilidad <math>p_x(x) = P(X=x)</math> y <math>p_y(y) = P(Y=y)</math>, se define la '''entropía conjunta''' de <math>X</math> e <math>Y</math> como la entropía de la variable aleatoria bidimensional <math>(X, Y)</math>, con rango discreto y finito <math>X \times Y = \{ f(x_i, y_i): x_i \in X; y_i \in Y\} </math> y función de probabilidad <math>p(x,y) = P(X=x, Y=y)</math><ref name=":0">López-García, C.; Fernández-Veiga, M. (2013). ''Teoría de la información y codificación.'' Santiago de Compostela: Andavira. </ref>. | Dadas dos variables aleatorias discretas <math>X</math> e <math>Y</math> de rango discreto y finito <math display="inline">X=\{x_1, x_2 ... x_n\}</math> e <math display="inline">Y=\{y_1, y_2 ... y_m\}</math> con funciones de probabilidad <math>p_x(x) = P(X=x)</math> y <math>p_y(y) = P(Y=y)</math>, se define la '''entropía conjunta''' de <math>X</math> e <math>Y</math> como la entropía de la variable aleatoria bidimensional <math>(X, Y)</math>, con rango discreto y finito <math>X \times Y = \{ f(x_i, y_i): x_i \in X; y_i \in Y\} </math> y función de probabilidad <math>p(x,y) = P(X=x, Y=y)</math><ref name=":0">López-García, C.; Fernández-Veiga, M. (2013). ''Teoría de la información y codificación.'' Santiago de Compostela: Andavira. </ref>. | ||
<math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math> | <math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math> {{anclar|FomulaEntropiaConjunta}} | ||
===Teorema de relación entre las [[Entropía o cantidad de información|entropías individuales]] y la conjunta | ===Teorema de relación entre las [[Entropía o cantidad de información|entropías individuales]] y la conjunta=== | ||
Se verifica en general que la entropía conjunta de dos variables aleatorias no puede superar a la suma de las entropías de dichas variables aleatorias consideradas por separado. | Se verifica en general que la entropía conjunta de dos variables aleatorias no puede superar a la suma de las entropías de dichas variables aleatorias consideradas por separado<ref name=":0" />. | ||
<math>H(X,Y) \leq H(X) + H(Y)</math> | <math>H(X,Y) \leq H(X) + H(Y)</math> | ||
| Line 16: | Line 16: | ||
<math>H(X,Y) = H(X) + H(Y)</math> | <math>H(X,Y) = H(X) + H(Y)</math> | ||
== Código == | ==Código== | ||
Vamos a mostrar un ejemplo simple de cómo calcular la entropía conjunta en Matlab para dos variables discretas.<syntaxhighlight lang="matlab"> | Vamos a mostrar un ejemplo simple de cómo calcular la entropía conjunta en Matlab para dos variables discretas.<syntaxhighlight lang="matlab"> | ||
% Definir dos variables aleatorias discretas | % Definir dos variables aleatorias discretas | ||
| Line 33: | Line 33: | ||
disp(['Entropía conjunta H(X, Y): ', num2str(H)]); | disp(['Entropía conjunta H(X, Y): ', num2str(H)]); | ||
</syntaxhighlight>Este código define dos variables aleatorias discretas, x e y, con valores posibles [1, 2, 3] y [4, 5, 6], respectivamente. Luego, define las probabilidades conjuntas en la matriz P. La entropía conjunta se calcula utilizando la fórmula de entropía | </syntaxhighlight>Este código define dos variables aleatorias discretas, x e y, con valores posibles [1, 2, 3] y [4, 5, 6], respectivamente. Luego, define las probabilidades conjuntas en la matriz P. La entropía conjunta se calcula utilizando la fórmula de entropía definida en [[#FomulaEntropiaConjunta|enlace]] | ||
<math> | <math> | ||
| Line 42: | Line 42: | ||
==Referencias== | ==Referencias== | ||
<references /> | <references /> | ||