Entropía o cantidad de información

Colección
glossariumBITri
Curador
José María Díaz Nafría
Autor(es)
José María Díaz Nafría
Fecha de publicación
2016
Identificador
2: 30
Tipo de artículo
concepto

José María Díaz Nafría (2016). Entropía o cantidad de información. glossariumBITri, 2: 30.

Definiciones

Según la definición aportada por C.E.Shannon en 1948, en la Teoría Matemática de la Información (TMC), la entropía o cantidad de información de una fuente discreta de información, caracterizada por la probabilidad p_j de enviar cada uno de sus símbolos, j, es el promedio estadístico:

$H=-\sum _{i}p_{i}\log _{2}p_{i}$ [bits]

estando acotado entre los límites:

$0\leq H\leq log_{2}N$

donde N es el número de símbolos diferentes que puede producir la fuente.

En caso de que la fuente pueda adoptar varios estados i, siendo P_i el estado de probabilidad, y estando cada uno de ellos caracterizado por una probabilidad p_i(j) de producir los símbolos i, entonces la entropía se define como el promedio de las entropías de cada estado:

$H=\sum _{i}P_{i}H_{i}=-\sum _{i,j}P_{i}p_{i}(j)\log _{2}p_{i}(j){\text{ [bits]}}$

Interpretaciones

Según Floridi, la entropía H puede designar tres cantidades equivalentes en el caso ideal de un canal sin ruido: 1) “el promedio de la cantidad de información producida por el agente informante (por cada símbolo)"; 2) el "promedio de la cantidad de déficit de datos (incertidumbre shannoniana) por parte del agente informado antes de que éste inspeccione la salida del informante"; 3) la "potencialidad informativa".

Puesto que las dos primeras interpretaciones suponen que a cada símbolo le corresponde una incertidumbre definida (ya sea en la emisión o en la recepción), esto a su vez implica un cierto acuerdo tácito del alfabeto o juego informacional en el que los agentes están inmersos. En ambos casos la información puede cuantificarse bajo la condición de que pueda especificarse la distribución de probabilidad dentro de un juego comunicativo.

Según la tercera acepción se puede entender la entropía en términos de una magnitud física referida a la cantidad de desorden en procesos o sistemas portadores de energía o información. Cuanto mayor es la entropía, mayor será el número de estados físicos en los que el sistema puede encontrarse, y por consiguiente mayor la información a la que puede referirse, o de otro modo, la especificación del estado en el cual un determinado sistema se encuentra, requerirá tanta más información cuanto mayor sea su entropía, y ésta equivaldrá numéricamente a la cantidad de información o datos que es necesario aportar para especificar el estado. La entropía es así una característica del macroestado de un sistema (como puede ser la presión o la temperatura de un gas) al que corresponde un número de microestados mayor o menor según dicho valor. Para determinar el microestado en el que se encuentra el sistema e necesario extraer información adicional.

Esta vía nos permite observar el estrecho paralelismo que, en última instancia, existe entre la interpretación de Boltzmann de la entropía y la medida shannoniana de la información que justificaría su homonimia sin necesidad de caer en contradicción ninguna, como se ha señalado a menudo, incluso por los propios autores de la TMC (Shannon, Weaver).