Jump to content

Entropía conjunta: Difference between revisions

Entropía conjunta (view source)

Revision as of 04:32, 13 February 2025

29 bytes added ,  3 months ago
no edit summary
VisualWikitext
mNo edit summary
No edit summary
Line 1: Line 1:
{{Cab0 TI|Autores=[[User:Julio Garvía Honrado]], [[User:Irene Salinero]], [[User:Rubén Guzmán]]}}
==Definición==
==Definición==
La '''entropía conjunta''' es un concepto en teoría de la información que describe la incertidumbre asociada con dos o más variables aleatorias. Es una medida de la cantidad promedio de información compartida entre estas variables en un sistema, es decir, mide cuánta información promedio se necesita para describir conjuntamente las dos variables aleatorias.<ref>Díaz Nafría, J.M. (2020). Unidad 2:Entropía de una fuente discreta . PDF disponible en el aula virtual de la asignatura “''Teoría de la Información''.” de la UDIMA. Consultado el 19/12/2023 en Aula virtual[https://aula.udima.es/course/view.php?id=48605]</ref>   
Dentro del contexto de la ''teoría de la información'' (o de la teoría matemática de la comunicación, inicialmente propuesta por [[Shannon, Claude Elwood|C. Shannon]]), la '''entropía conjunta''' describe la incertidumbre asociada con dos o más variables aleatorias. Se trata de una medida de la cantidad promedio de información compartida entre estas variables en un sistema, es decir, mide cuánta información promedio se necesita para describir conjuntamente las dos variables aleatorias.<ref name=":0" />   


Dadas dos variables aleatorias discretas <math>X</math> e <math>Y</math> de rango discreto y finito <math display="inline">X=\{x_1, x_2 ... x_n\}</math> e <math display="inline">Y=\{y_1, y_2 ... y_m\}</math> con funciones de probabilidad <math>p_x(x) = P(X=x)</math> y <math>p_y(y) = P(Y=y)</math>, se define la '''entropía conjunta''' de <math>X</math> e <math>Y</math> como la entropía de la variable aleatoria bidimensional <math>(X, Y)</math>, con rango discreto y finito <math>X \times Y = \{ f(x_i, y_i): x_i \in X; y_i \in Y\} </math> y función de probabilidad <math>p(x,y) = P(X=x, Y=y)</math><ref name=":0">López-García, C.; Fernández-Veiga, M. (2013). ''Teoría de la información y codificación.'' Santiago de Compostela: Andavira. </ref>.
Dadas dos variables aleatorias discretas <math>X</math> e <math>Y</math> de rango discreto y finito <math display="inline">X=\{x_1, x_2 ... x_n\}</math> e <math display="inline">Y=\{y_1, y_2 ... y_m\}</math> con funciones de probabilidad <math>p_x(x) = P(X=x)</math> y <math>p_y(y) = P(Y=y)</math>, se define la '''entropía conjunta''' de <math>X</math> e <math>Y</math> como la entropía de la variable aleatoria bidimensional <math>(X, Y)</math>, con rango discreto y finito <math>X \times Y = \{ f(x_i, y_i): x_i \in X; y_i \in Y\} </math> y función de probabilidad <math>p(x,y) = P(X=x, Y=y)</math><ref name=":0">López-García, C.; Fernández-Veiga, M. (2013). ''Teoría de la información y codificación.'' Santiago de Compostela: Andavira. </ref>.
Line 6: Line 8:
<math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math>
<math>H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}</math>


===Teorema relación entre las entropías individuales y la conjunta===
== Relaciones con otras entropías ==
Se verifica en general que la entropía conjunta de dos variables aleatorias no puede superar a la suma de las [[Entropía o cantidad de información|entropías]] de dichas variables aleatorias consideradas por separado<ref name=":0" />.
 
===Relación con las entropías individuales===
Se verifica, en general, que la entropía conjunta de dos variables aleatorias no puede superar a la suma de las [[Entropía o cantidad de información|entropías]] de dichas variables aleatorias consideradas por separado<ref name=":0" />.


<math>H(X,Y) \leq H(X) + H(Y)</math>
<math>H(X,Y) \leq H(X) + H(Y)</math>
Line 16: Line 20:


=== Relación con la entropía condicional ===
=== Relación con la entropía condicional ===
La [[entropía condicional]] <math>H(X|Y)  </math>, entendida como la incertidumbre de <math>X</math> cuando <math>Y</math> es conocida, se relaciona con la entropía conjunta mediante la siguiente expresión, conocida como ''regla de la cadena''<ref name=":0" />:
La [[Draft:Entropía condicional|entropía condicional]] <math>H(X|Y)  </math>, entendida como la incertidumbre de <math>X</math> cuando <math>Y</math> es conocida, se relaciona con la entropía conjunta mediante la siguiente expresión, conocida como ''regla de la cadena''<ref name=":0" />:


<math>H(X,Y) = H(X) + H(Y|X)= H(Y) + H(X|Y)  </math>
<math>H(X,Y) = H(X) + H(Y|X)= H(Y) + H(X|Y)  </math>
Line 39: Line 43:
disp(['Entropía conjunta H(X, Y): ', num2str(H)]);
disp(['Entropía conjunta H(X, Y): ', num2str(H)]);


</syntaxhighlight>Utilizando la expresión matemática definida anteriormente, este código calcula la entropía conjunta utilizando como parámetros de entrada:
</syntaxhighlight>Utilizando la expresión matemática definida anteriormente, este código calcula la entropía conjunta utilizando como parámetros de entrada: (i) dos variables aleatorias discretas, <math>X</math> e <math>Y</math>, con valores posibles <math>[1, 2, 3]</math> y <math>[4, 5, 6]</math>, respectivamente, y (ii) las probabilidades conjuntas en la matriz <math>P</math>.
 
* dos variables aleatorias discretas, <math>X</math> e <math>Y</math>, con valores posibles <math>[1, 2, 3]</math> y <math>[4, 5, 6]</math>, respectivamente, y
* las probabilidades conjuntas en la matriz <math>P</math>.


==Referencias ==
==Referencias ==
<references />
<references />
Retrieved from "https://www.glossalab.org/wiki/Special:MobileDiff/12129"