Entropía conjunta: Difference between revisions
Se añade la relación entre la entropía conjunta y la entropía condicional
No edit summary |
Rubén Guzmán (talk | contribs) (Se añade la relación entre la entropía conjunta y la entropía condicional) |
||
| Line 6: | Line 6: | ||
<math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math> | <math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math> | ||
===Teorema | ===Teorema relación entre las entropías individuales y la conjunta=== | ||
Se verifica en general que la entropía conjunta de dos variables aleatorias no puede superar a la suma de las [[Entropía o cantidad de información|entropías]] de dichas variables aleatorias consideradas por separado<ref name=":0" />. | Se verifica en general que la entropía conjunta de dos variables aleatorias no puede superar a la suma de las [[Entropía o cantidad de información|entropías]] de dichas variables aleatorias consideradas por separado<ref name=":0" />. | ||
| Line 14: | Line 14: | ||
<math>H(X,Y) = H(X) + H(Y)</math> | <math>H(X,Y) = H(X) + H(Y)</math> | ||
=== Relación con la entropía condicional === | |||
La [[entropía condicional]] <math>H(X|Y) </math>, entendida como la incertidumbre de <math>X</math> cuando <math>Y</math> es conocida, se relaciona con la entropía conjunta mediante la siguiente expresión, conocida como ''regla de la cadena'': | |||
<math>H(X,Y) = H(X) + H(Y|X)= H(Y) + H(X|Y) </math> | |||
Si las variables <math>X</math> e <math>Y</math> son independientes, tenemos que <math>H(Y|X)=H(Y) </math> y <math>H(X|Y)=H(X) </math>, corroborando la igualdad citada en el teorema anterior. | |||
==Código== | ==Código== | ||