Talk:Entropía o cantidad de información

Revisión del artículo como parte de la colección glossariumBITri

La edición actual coincide con la traducción del artículo publicada en glossariumBITri en su edición de 2016 (en sus formatos interactivo -no disponible desde 2022- y en libro), con unas mínimas adaptaciones al estilo de glossaLAB y enlaces a artículos contenidos en la plafatorma.

José María Díaz Nafría (talk) 18:54, 7 December 2023 (CET)

Complementos al artículo propuestos dentro del contexto de glossaLAB.edu

Se reproducen a continuación complementos propuestos para ilustrar el concepto cuantitativo de información que no se incorporan al artículo por pertenecer a la colección glossariumBITri y no coincidir plenamente al objeto de dicha colección. No obstante, la curación de estas propuestas de utilidad didáctica se mantendrán en este espacio.

Propuesta de código por parte de Julio Garvía

Durante el curso 2023/24 Julio Garvía propone el siguiente código que ilustra, a través de un sencillo ejemplo, el cálculo de la entropía de una variable aleatoria discreta en MATLAB:

clc
clear
close all

% Definición de las probabilidades de la variable aletoria 'y' 
% para 4 valores supuestos
prob_y = [5/16, 7/32, 3/16, 9/32];

% Cálculo de la entropía en base 2
entropy = -sum(prob_y.*log2(prob_y));

% Muestra de resultados
disp(['Entropía en base 2 de y: ', num2str(entropy), ' bits']);

Propuesta de código por parte de Rubén Guzmán

Durante el curso 2024/25, Rubén Guzmán propone la siguiente función, en lugar de script propuesto anteriormente, que permite calcular la entropía de la fuente en base dos a partir de la entrada de un vector de probabilidades:

function [H] = entropia (prob)
% ENTROPIA Calcula la entropía en base 2 (bits)
% a partir de un vector de probabilidades de entrada
H=-sum(prob.*log2(prob));
end

Ejemplo de su uso:

>> p=[0.1 0.2 0.15 0.4 0.15];
>> entropia(p)

ans =

    2.1464