Draft:Información mutua condicional

anon

Clarification activity	Sistemas e información
Author(s)	Francisco Manuel Gómez García
Creation date	7 nov 2025
Status	🟢 Necesita mejoras
Reviews	Rev.1

Observaciones de revisión: Este artículo requiere las mejoras indicadas a continuación: Deben establecerse relaciones directas (explícitas) con información mutua y evitar redundancias. En esta misma línea si se considera que el video citado mejora en algo lo descrito en el artículo de Información mutua de glossaLAB.edu, debería procurarse mejorar éste, en lugar de apuntar a aquel. El enlace información mutua cuando se declara información mutua condicional es incorrecto porque puede crear más confusión que claridad, que es nuestro objetivo. Otra cosa es decir a continuación que se basa en el concepto de información mutua. Debería incluirse la razón por la que Wyner propone una variante respecto a lo propuesto por Dobrushin y que lo acerca a la definición de Shannon a la vez que aumenta su intuitividad. Dichas referencias permiten establecer conexiones con Shannon y eventualmente con la complejidad de Kolmogorov. Debe mejorarse la coherencia de las definiciones y pruebas, así como una notación correcta que a su vez lo más sintética que sea posible, haciendo referencias a las definiciones y simbología ya establecida en otros artículos (y proponiendo cambios en los mismos si se estima pertinente).

Definición

La información mutua condicional de X e Y establecida una tercera variable Z, cuantifica de manera residual cuanta incertidumbre sobre X se reduce al conocer Y en función del valor de Z conocido. El hecho de conocer una tercera variable aleatoria Z puede hacer variar la distribución marginal o conjunta de dos variables aleatorias dadas, X e Y.

Sean X, Y y Z tres variables aleatorias discretas. Se dice que X e Y son condicionalmente independientes dado Z si la distribución condicional de Y , cuando se conoce Z, es independiente de la de X:

$P(X=x,Y=y|Z=z)=P(X=x|Z=z)P(Y=y|Z=z)$

Notación de la definición de información mutua condicional de las variables aleatorias X e Y , dada la variable Z:

Definición: $I(X;Y|Z)=H(X|Z)-H(X|Y,Z)$

La diferencia entre la entropía condicional de X dado Z y la entropía condicional de X dado tanto Y como Z.

Se puede verificar fácilmente que la información mutua condicional conserva todas las propiedades de la información mutua.

En particular, se cumple el siguiente teorema:

$I(X;Y|Z)>=0$

con igualdad estricta si y solamente si, dada Z, las variables X e Y son condicionalmente independientes.

Además, la información mutua satisface también una regla de la cadena:

$I(X,Y;Z)=I(X;Z)+I(Y;Z|X):$

Demostración: $I(X,Y;Z)=H(X,Y)-H(X,Y|Z)=H(X)+H(Y|X)-(H(X|Z)+H(Y|X,Z))=(H(X)-H(X|Z))+(H(Y|X)-H(Y|X,Z))=I(X;Z)+I(Y;Z|X):$

Propiedades

Según A.D.Wyner:

• No Negatividad (Nunca es negativa, y si es cero, entonces X e Y son independientes dado Z.)
• Descomposición (Kolmogórov) ( La información total puede dividirse en la parte que Z aporta sobre Y, más la parte adicional que X aporta tras conocer Z).
• Regla de la cadena (La información puede sumarse paso a paso, cada variable añade su contribución una vez que se conocen las anteriores. Permite analizar sistemas complejos dividiéndolos por partes).
• Procesamiento de datos (Al pasar por un canal o proceso, la información no puede aumentar. El ruido o las transformaciones solo pueden mantener o reducirla).
• Simetría (La información mutua condicional es la misma en ambos sentidos, y no depende del orden de X e Y).
• Equivalencia con Dobrushin (con la ventaja de ser más intuitiva, compatible con la teoría de Shannon)