Entropía conjunta: Difference between revisions

<big>La <u>entropía conjunta</u> es un concepto en teoría de la información que describe la incertidumbre asociada con dos o más variables aleatorias. Es una medida de la cantidad promedio de información compartida entre estas variables en un sistema, es decir, mide cuánta información promedio se necesita para describir conjuntamente las dos variables aleatorias. Si X e Y son independientes, la entropía conjunta es igual al producto de sus entropías individuales. Sin embargo, si X e Y están correlacionadas, será menor que la suma de las entropías individuales, ya que parte de la información se comparte entre ellas.</big>   

<big>Dadas dos variables aleatorias discretas <math>X</math> e <math>Y</math> de rango discreto y finito <math display="inline">X=\{x_1, x_2 ... x_n\}</math> e <math display="inline">Y=\{y_1, y_2 ... y_m\}</math> con funciones de probabilidad <math>p_x(x) = P(X=x)</math> y <math>p_y(y) = P(Y=y)</math>, se define la '''entropía conjunta''' de <math>X</math> e <math>Y</math> como la entropía de la variable aleatoria bidimensional <math>(X, Y)</math>, con rango discreto y finito <math>X \times Y = \{ f(x_i, y_i): x_i \in X; y_i \in Y\} </math> y función de probabilidad <math>p(x,y) = P(X=x, Y=y)</math>.</big>

<big><math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math></big>  

=== <big>Teorema de relación entre las [[Entropía o cantidad de información|entropías individuales]] y la conjunta<ref name=":0" /></big> ===

<big>Se verifica en general que la entropía conjunta de dos variables aleatorias no puede superar a la suma de las entropías de dichas variables aleatorias consideradas por separado.</big>

<big><math>H(X,Y) \leq H(X) + H(Y)</math></big>

<big>Siendo condición necesaria y suficiente que las variables aleatorias  <math>X</math> e <math>Y</math> sean independientes entre sí para que se cumpla que</big>

<big><math>H(X,Y) = H(X) + H(Y)</math></big>

== Referencias ==