https://www.glossalab.org/w/api.php?action=feedcontributions&feedformat=atom&user=FerPerGar 2026-04-30T20:49:17Z User contributions MediaWiki 1.43.6 https://www.glossalab.org/w/index.php?title=Draft:Inform%C3%B3n&diff=30673 2026-01-04T21:18:25Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-05<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)// Daniel Sánchez (Daniel.sanchez.mu)<br /> |Has publication status=glossaLAB:In review<br /> }}<br /> == Definición ==<br /> En el ámbito de la Inteligencia Artificial (IA), un '''informón''' es una unidad mínima de información significativa que un sistema puede utilizar para resolver problemas complejos. Su concepto surge para cuantificar cuánta información es relevante y efectiva en la toma de decisiones de sistemas que operan en entornos con múltiples variables, donde el cálculo exhaustivo de todas las combinaciones sería inviable.<br /> <br /> &lt;math&gt;<br /> I_k = f(V_k, R)<br /> &lt;/math&gt;<br /> <br /> donde la función &lt;math&gt;f&lt;/math&gt; cuantifica qué parte de la información contenida en &lt;math&gt;V_k&lt;/math&gt; resulta relevante y utilizable para un objetivo de decisión específico.<br /> <br /> == Interpretaciones ==<br /> El concepto de informón permite comprender cómo los sistemas de IA gestionan la información en entornos complejos. Se puede interpretar desde varias perspectivas:<br /> <br /> * '''Reducción de incertidumbre:''' un informón representa la información que contribuye a disminuir la incertidumbre sobre el estado de un sistema o la predicción de un resultado. Por ejemplo, en un sistema de predicción del clima, la información sobre la presión atmosférica y la humedad puede constituir un informón que reduce significativamente la incertidumbre sobre la probabilidad de lluvia en un día concreto.<br /> * '''Información relevante frente a información redundante:''' los informones ayudan a priorizar datos que tienen un impacto real en la toma de decisiones, descartando información redundante o irrelevante. Esto permite al sistema trabajar de manera más eficiente, evitando cálculos innecesarios.<br /> * '''Medida de eficiencia informativa:''' en un proceso de decisión automatizado, la presencia de informones indica que el sistema puede resolver problemas complejos sin necesidad de analizar exhaustivamente todas las variables posibles. Por ejemplo, un sistema de recomendación puede usar como informón la información sobre los géneros de películas preferidos por un usuario, ignorando temporalmente otras variables menos relevantes.<br /> <br /> En resumen, un informón no es simplemente un dato, sino una unidad de información significativa que tiene un valor funcional en la resolución de problemas dentro de un sistema de IA.<br /> <br /> == Propiedades ==<br /> Los informones presentan varias propiedades esenciales que permiten caracterizar su uso en sistemas de inteligencia artificial:<br /> <br /> # '''Modularidad:''' un sistema puede contener múltiples informones, cada uno asociado a distintos subconjuntos de variables. Esta organización modular facilita la gestión de la información y permite que el sistema tome decisiones específicas en contextos determinados.<br /> # '''No aditividad completa:''' la suma de todos los informones relevantes no necesariamente equivale a la entropía total del sistema, debido a la existencia de información redundante o superpuesta entre distintos informones. Por ejemplo, dos informones que contienen parcialmente la misma información sobre sensores de un robot no sumarán linealmente en términos de conocimiento total.<br /> # '''Medida de eficiencia:''' la cuantificación de informones permite evaluar la eficiencia del sistema, mostrando qué tan bien se utiliza la información disponible para la toma de decisiones. Esto es útil en sistemas con restricciones computacionales o de tiempo, donde analizar toda la información posible sería costoso.<br /> # '''Contextualidad:''' un informón tiene relevancia en un contexto específico. La misma unidad de información puede ser más o menos significativa dependiendo del objetivo del sistema y de las variables que se consideren críticas.<br /> <br /> Estas propiedades hacen que los informones sean un concepto clave para analizar la capacidad informativa de sistemas de IA y su eficiencia en la resolución de problemas complejos.<br /> <br /> == Aplicaciones ==<br /> El concepto de informón tiene aplicaciones prácticas en múltiples campos de la inteligencia artificial y sistemas basados en información:<br /> <br /> * '''Sistemas de recomendación:''' en plataformas de streaming o comercio electrónico, los informones representan información sobre las preferencias del usuario, como géneros, productos comprados o hábitos de consumo. Esta información permite generar recomendaciones precisas sin necesidad de analizar exhaustivamente todo el catálogo disponible. Por ejemplo, un informón puede ser “el usuario suele ver películas de ciencia ficción los fines de semana”, lo que ayuda a reducir la incertidumbre sobre qué contenido sugerir.<br /> * '''Robótica y navegación:''' en robots autónomos, los informones pueden representar datos de sensores sobre obstáculos, condiciones del terreno o ubicación de objetos. Esta información selectiva permite planificar rutas más eficientes y seguras sin procesar toda la información del entorno. Por ejemplo, un robot explorador puede usar informones de sensores de proximidad para decidir el mejor camino a seguir en tiempo real.<br /> * '''Procesamiento de lenguaje natural:''' los informones pueden representar palabras o frases clave dentro de un texto que son relevantes para comprender el significado o generar respuestas. Esto permite a los sistemas de IA centrarse en la información más significativa y reducir la complejidad del análisis.<br /> * '''Optimización de sistemas complejos:''' en sistemas que manejan grandes volúmenes de datos, los informones permiten identificar qué información es realmente útil para alcanzar un objetivo, evitando el análisis exhaustivo de datos irrelevantes y optimizando recursos computacionales.<br /> <br /> En todos estos casos, los informones ayudan a los sistemas de IA a operar de manera eficiente, enfocándose en la información que realmente contribuye a la resolución de problemas o a la toma de decisiones.<br /> <br /> == Véase también ==<br /> <br /> * [[Teoría de la información]]<br /> * [[Entropía o cantidad de información|Entropía]]<br /> * [[Información mutua]]<br /> * [[Artificial Intelligence|Inteligencia artificial]]<br /> <br /> == Referencias ==<br /> <br /> # Shannon, C. E. (1948). ''A Mathematical Theory of Communication''. Bell System Technical Journal.<br /> # Russell, S., &amp; Norvig, P. (2020). ''Artificial Intelligence: A Modern Approach''. Pearson.<br /> # Liu, B. et al. (2021). ''Information Units and AI Decision Making''. Journal of Artificial Intelligence Research.</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=30672 2026-01-04T21:16:47Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:In review<br /> }}<br /> == Introducción ==<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius&lt;ref&gt;Clausius, R. J. E. (1982). ''Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen: (1850)''.&lt;/ref&gt; en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001)&lt;ref&gt;Shannon, C. E. (1948). A Mathematical Theory of Communication. En ''Bell System Technical Journal'' (Vol. 27, Número 4, pp. 623-656). &lt;nowiki&gt;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x&lt;/nowiki&gt;&lt;/ref&gt; el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Por ejemplo, en la frase &quot;la liebre corre más que la tortuga&quot;, 'la', repetida dos veces y 'que', no aportan ninguna información nueva, mientras que 'liebre', 'corre', 'más' y 'tortuga' aportan conocimiento al sistema para entender que la liebre es más rápida. Para encontrar más información sobre la entropía, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> Dentro de la entropía, conseguimos distinguir diversas variantes, como la entropía conjunta, marginal, condicional, y la entropía relativa. En este apartado hablaremos de las entropías conjunta, marginal y relativa, para después entender el concepto de información mutua, que nos ayudará a tener una medida de cantidad de información que contiene una variable aleatoria en relación con otra.<br /> <br /> == Entropía conjunta y entropía marginal ==<br /> Antes de entrar en la entropía relativa, tenemos que entender dos conceptos más, la entropía marginal y la entropía conjunta.<br /> <br /> * '''Entropía marginal:''' Es la cantidad de información que contiene una variable aleatoria por sí sola, y se define por la siguiente fórmula, basada en la distribución de probabilidad marginal:<br /> &lt;math&gt;H(X) = -\sum_{x\in X} p(x)\log_2p(x)&lt;/math&gt;<br /> * '''Entropía conjunta:''' La entropía conjunta describe la cantidad de información media que se necesita para describir dos variables aleatorias. Esto es, la entropía de una variable aleatoria bidimensional, en la que entran las dos variables aleatorias del conjunto:<br /> &lt;math&gt;H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}&lt;/math&gt;&lt;ref&gt;[[Entropía conjunta]]&lt;/ref&gt;<br /> == Entropía relativa ==<br /> <br /> La entropía relativa, también conocida como la distancia de Kullback Leibler D(p||q)&lt;ref&gt;Kullback, S.; Leibler, R.A. (1951). «On Information and Sufficiency». ''Annals of Mathematical Statistics'' '''22''' (1): 79-86. &lt;small&gt;MR 39968&lt;/small&gt;. &lt;small&gt;doi:&lt;/small&gt;https://dx.doi.org/10.1214%2Faoms%2F1177729694&lt;/ref&gt;, es la medida de cuanta distancia hay entre dos distribuciones. Se mide cuanta ineficiencia surge al asumir que una distribución es 'q' cuando en realidad es 'p'.<br /> <br /> Así, la entropía relativa entre dos distribuciones de probabilidad p(x) y q(x) sería la siguiente:<br /> <br /> &lt;math&gt;D(p || q) = \overset{}{\underset{x\in\text{x}}{\Sigma}} p(x) log_2\left ( \frac{p(x)}{q(x)} \right ) = E_p log_2\left ( \frac{p(x)}{q(x)} \right ) &lt;/math&gt;&lt;ref&gt;''Fundamentos de los sistemas de información'' (CEF-UDIMA). (s. f.). https://drive.google.com/file/d/1XV0J9vGIg97HlmTirJOCfAqf0uFnO4qW/view?usp=sharing&lt;/ref&gt;<br /> <br /> Es importante aclarar que, como se puede ver con la fórmula descrita, D(p || q) ≠ D(q || p) salvo que la distancia entre las dos sea 0, entonces sí que serían iguales. <br /> <br /> A partir de todo lo comentado podemos observar que la entropía relativa es siembre no negativa, y 0 solo si p = q.<br /> <br /> == Información Mutua ==<br /> Un concepto muy relacionado en cuanto a sistemas de la información se trata es el concepto de &quot;información mutua&quot;, que mide la cantidad de información de una variable aleatoria sobre otra variable aleatoria. Esto quiere decir, a partir del conocimiento disponible de una variable aleatoria, se puede reducir la incertidumbre de la segunda. <br /> <br /> Para entender su funcionamiento, lo tratamos con un ejemplo: Sean dos variables X e Y, que tienen una función de probabilidad conjunta de p(X,Y), y unas de probabilidad marginal p(X) y p(Y), la información mutua I(X,Y) es la entropía relativa entre la distribución conjunta y el producto de las distribuciones marginales (p(X)p(Y)): <br /> <br /> &lt;math&gt;I(X,Y) = \sum_{x\in X} \sum_{y\in Y}p(X, Y)\log_2\frac{p(X,Y)}{p(X),p(Y)}=\sigma(p(X,Y)'||p(X)p(Y) = E_{p(X,Y)}log_2\frac{p(X,Y)}{p(X),p(Y)}&lt;/math&gt; <br /> <br /> Es fácil demostrar que, en definitiva, la información mutua no es más que la intersección entre las entropías marginales de las dos variables aleatorias, y podemos calcularlo de la siguiente forma: <br /> <br /> &lt;math&gt;I(X,Y) = H(X) - H(X/Y) = H(Y) - H(Y/X)&lt;/math&gt; <br /> <br /> == Aplicación en entornos reales ==<br /> La información mutua, y por ende, la entropía relativa, son conceptos muy relevantes en la teoría de la información, y puede usarse en técnicas de Machine Learning, muy relevantes en el mundo actual para la mejora de cualquier modelo de Inteligencia Artificial (IA), haciéndolos más eficientes y capaces de relacionar más conceptos que los definidos por el programador en primera instancia, que pueden quedarse obsoletos o estar incompletos dependiendo de la complejidad del modelo en cuestión.<br /> <br /> Un ejemplo claro de uso sería en el aprendizaje profundo supervisado, donde la pérdida de entropía cruzada (directamente relacionada con la entropía relativa) es fundamental para la clasificación del conocimiento. Al minimizar la distancia entre cada variable, las redes neuronales funcionan mejor, optimizando sus búsquedas y el proceso de aprendizaje.&lt;ref&gt;Bishop, C. M. (2016). ''Pattern Recognition and Machine Learning''. Springer.&lt;/ref&gt;<br /> <br /> Aunque en primera instancia pueda parecer una abstracción matemática, la entropía relativa es una métrica fundamental para cuantificar y optimizar el &quot;coste&quot; de la discrepancia informativa. Esta capacidad permite a los sistemas de IA modernos ir más allá de la mera acumulación de información: les ofrece un principio matemático para refinar su heurística, optimizar su arquitectura interna y mejorar continuamente sus procesos de razonamiento y toma de decisiones de forma eficiente y automatizada.<br /> <br /> == Bibliografía ==<br /> <br /> * Fernández Boyero, Y. (2019). Entropía relativa y riesgo de modelo en derivados de renta variable.<br /> &lt;references /&gt;</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft_talk:Inteligencia_de_negocio&diff=29012 2025-12-24T11:54:07Z

<p>FerPerGar: Propuestas de mejora en el artículo</p> <hr /> <div>Buenos días Rodrigo,<br /> <br /> El artículo me ha parecido muy interesante, da una visión de lo que es el BI que podría entender cualquier persona.<br /> <br /> Mi propuesta de mejora sería incluir más información sobre cómo se relacionan los distintos elementos en el BI, a lo mejor con un gráfico como el que se puede ver en la siguiente url: https://es.slideshare.net/slideshow/componentes-de-business-intelligence/39725160<br /> <br /> También podría incorporarse información sobre el ciclo de vida del KDD:<br /> <br /> * '''Integración y recopilación'''<br /> * '''Selección, limpieza y transformación'''<br /> * '''Minería de Datos'''<br /> * '''Evaluación e Interpretación'''<br /> * '''Difusión y uso'''<br /> <br /> Y por terminar, incluir herramientas que pueden ayudar a un usuario con prácticas de BI, como puede ser [https://orangedatamining.com/ Orange Data Mining].<br /> <br /> En general creo que es un artículo muy completo, pero añadiendo lo comentado iríamos a un siguiente nivel de conocimiento.<br /> <br /> Sobre KDD incluyo un documento que realicé en la asignatura de Business Intelligence por si fuera de ayuda:<br /> <br /> == Introducción: ==<br /> Para empezar con este survey, debemos explicar qué es KDD.<br /> <br /> Sus siglas significan Knowledge Discovery in Databases, que en español se traduce como “descubrimiento de conocimiento en bases de datos”.<br /> <br /> La adquisición de conocimiento es la habilidad que gana una empresa para ayudar al negocio a solucionar problemas, tomar decisiones y/o mejorar sus procesos a partir de los datos que almacena cada día con su ejercicio habitual.<br /> <br /> KDD es un proceso que ayuda a extraer este conocimiento. Es un proceso con un orden lógico, pero iterativo, ya que de una fase superior se puede volver a una anterior para mejorar el resultado obtenido.<br /> <br /> El conocimiento descubierto por este proceso debe aportar valor al negocio. Para ello, debe ser algo que no se pueda extraer directamente de los datos almacenados, que sea novedoso, no algo que ya se conociera previamente; y útil, ya que, si no resuelve ninguna necesidad o no aporta información nueva, este conocimiento no vale para nada.<br /> <br /> = Fases de KDD: =<br /> KDD es un proceso de 5 pasos, Integración y recopilación de información; selección, limpieza y transformación del dato extraído; minería del dato; Evaluación e Interpretación del modelo; y difusión y uso del conocimiento adquirido:<br /> <br /> == 1.     Integración y recopilación: ==<br /> En esta primera fase, se integran todas las fuentes de datos de la empresa en un único repositorio de datos, llamado Data Warehouse.<br /> <br /> Para llevar a cabo esto, se utiliza un proceso denominado “ETL”, Extracción, Transformación y Carga (Load) de la información. Toda la información se organizará en torno a acciones propias de la empresa, como puede ser la adquisición de un seguro, que tiene asociadas un número de dimensiones o propiedades (rango de edad del asegurado, años de carné, rango salarial…).<br /> <br /> === Técnicas y particularidades: ===<br /> Esta información integrada en el Data Warehouse ya es posible utilizarla para extraer métricas y reportes para negocio. Para ello se pueden aprovechar, entre otras, las herramientas OLAP (On-Line Analytical Processing), que permiten explotar este modelo tridimensional para la generación de informes y el estudio de tendencias a partir de tablas dinámicas de ''Microsoft Excel''.<br /> <br /> == 2.     Selección, limpieza y transformación: ==<br /> Estos datos, que hemos visto que se pueden explotar ya, aún no están configurados para poder extraer conocimiento, siguen estando “en bruto” y hay que realizar varios pasos antes de poder estudiar la información.<br /> <br /> En este paso, se debe eliminar todo dato redundante o que no aporta valor, ya sea por tratarse de información errónea o de valores no encontrados en el modelo (selección y limpieza), para después transformarlo en un contenido apto para aplicar técnicas de minería de datos.<br /> <br /> === Técnicas y particularidades: ===<br /> Existen varias herramientas, para el limpiado de los datos y su correcta transformación, como OpenRefine, que es una herramienta Open-Source (de código abierto, todo el mundo puede descargar el código fuente y modificarlo para adaptarlo a sus necesidades). Esta permite trabajar con bases de datos locales y remotas, y tiene una interfaz gráfica muy amigable, parecida a un Excel.<br /> <br /> == 3.     Minería de Datos: ==<br /> La minería de datos consiste en la aplicación de una o varias técnicas que nos permiten extraer, a través de los datos transformados, patrones o modelos con los que obtener el conocimiento buscado.<br /> <br /> Dentro de la minería, se encuentran cinco tareas:<br /> <br /> ·        '''Clasificación''' de los datos, obteniendo datos cualitativos con los que aportar información “clasificable” de cada persona que contrata un seguro (por seguir con el ejemplo ya utilizado), como puede ser ''rango_de_edad'', donde diferenciar entre joven, mediana edad o anciano.<br /> <br /> ·        '''Regresión''': muy parecido a la clasificación, pero por esta técnica se obtienen valores cuantitativos, como podría ser numero_accidentes, para indicar cuantos accidentes ha tenido un cliente a lo largo de su contrato.<br /> <br /> ·        '''Clustering''': Agrupación de datos a partir de factores comunes, como puede ser ''rango_de_edad,'' con lo que agrupas a los clientes en función de su edad.<br /> <br /> ·        '''Asociación''': Búsqueda de conexiones entre diferentes dimensiones. Por ejemplo, puede tener relación el color del coche con el número de accidentes en los que se ha visto involucrado un cliente.<br /> <br /> ·        '''Detección de atípicos''': en esta tarea, se busca encontrar todo comportamiento diferente al previsto por el modelo, todo lo que se sale de la norma.<br /> <br /> === Técnicas y particularidades: ===<br /> Para realizar las tareas definidas arriba, existen numerosas herramientas, como puede ser KNIME, muy utilizada por tener una versión gratuita y no necesitar conocimientos de programación para el minado de datos. Esta usa técnicas de minado como puede ser K-medias, utilizado para clusterizar la información.<br /> <br /> == 4.     Evaluación e Interpretación: ==<br /> Una vez se dispone de un modelo, hay que dar paso a la interpretación y evaluación del dato.<br /> <br /> Se debe revisar que el dato obtenido es, como ya comentábamos más arriba, útil, de calidad. Si el dato no nos proporciona información concreta e interesante, se deberá volver a las fases anteriores para refinar el modelo.<br /> <br /> Cuando se determina que un modelo es de calidad, se tiene que expresar la información de manera que lo vaya a entender el negocio, con términos comprensibles.<br /> <br /> === Técnicas y particularidades: ===<br /> Para validar la calidad del dato existen varias técnicas, unas más complejas que otras.<br /> <br /> La más simple es la revisión del modelo a partir de datos conocidos, ya que si negocio reconoce un comportamiento en el modelo que no se corresponde con su experiencia, el modelo no es válido. Otra técnica muy usada es la validación cruzada, que consiste en dividir el modelo en dos y hacer pruebas con los dos nuevos modelos. El que menos fallos reporte, será el modelo que utilizar.<br /> <br /> == 5.     Difusión y uso: ==<br /> Todo conocimiento, como ya hemos indicado, debe ser útil, y para ello se debe “usar”.<br /> <br /> Nos es interesante saber que todos los jóvenes con coche amarillo son más propensos a tener accidentes, pero si les seguimos cobrando igual que a una persona de mediana edad (menos propenso a tener accidentes), la aseguradora está perdiendo dinero. Por ello, es muy importante difundir el conocimiento dentro de la empresa para poder actuar correctamente y mejorar el rendimiento de la empresa.<br /> <br /> === Técnicas y particularidades: ===<br /> Para la difusión de este conocimiento, se pueden realizar informes a partir de los modelos obtenidos. Estos informes pueden ser en Excel, a través de extracciones de los modelos, como ya hemos hablado, o con herramientas más intuitivas y atractivas para el negocio, como pueden ser PowerBI o SAP, que son herramientas de modelado más adaptadas a esta necesidad.<br /> <br /> <br /> <br /> Conclusiones:<br /> <br /> A partir de este ejercicio, hemos sido capaces de conocer el funcionamiento del proceso de KDD, por el cual el negocio de cualquier empresa puede obtener conocimiento para mejorar su forma de tomar decisiones y optimizar el funcionamiento de su empresa, a partir de los datos que tienen disponibles.<br /> <br /> Se han repasado las distintas fases de KDD, integración; selección, limpieza y transformación; minería de datos; evaluación del modelo; y difusión y uso; aportando técnicas de uso para cada una de ellas.<br /> <br /> = Bibliografía: =<br /> ·        KDD Process in data mining: &lt;nowiki&gt;https://www.geeksforgeeks.org/kdd-process-in-data-mining/&lt;/nowiki&gt;<br /> <br /> ·        KDD platform: &lt;nowiki&gt;https://mnrva.io/kdd-platform.html&lt;/nowiki&gt;<br /> <br /> ·        OLAP: &lt;nowiki&gt;https://docs.microsoft.com/es-es/system-center/scsm/olap-cubes-overview?view=sc-sm-2019&lt;/nowiki&gt;<br /> <br /> ·        Unidades 1 y 2 del curso<br /> <br /> ·        Video explicativo de KDD: &lt;nowiki&gt;https://www.youtube.com/watch?v=UPNhLvzN6UQ&lt;/nowiki&gt;<br /> <br /> ·        Data cleaning tolos: &lt;nowiki&gt;https://careerfoundry.com/en/blog/data-analytics/best-data-cleaning-tools/&lt;/nowiki&gt;<br /> <br /> ·        OpenRefine: &lt;nowiki&gt;https://openrefine.org/&lt;/nowiki&gt;<br /> <br /> ·        El proceso de descubrimiento de conocimiento en bases de datos: &lt;nowiki&gt;https://ediciones.ucc.edu.co/index.php/ucc/catalog/download/36/40/230-1?inline=1&lt;/nowiki&gt;<br /> <br /> ·        KNIME: &lt;nowiki&gt;https://www.knime.com/&lt;/nowiki&gt;<br /> <br /> ·        &lt;nowiki&gt;https://cepobia.com/knime-una-ventana-de-oportunidades-en-data-science/&lt;/nowiki&gt;<br /> <br /> ·        &lt;nowiki&gt;https://hub.knime.com/knime/extensions/org.knime.features.base/latest/org.knime.base.node.mine.cluster.kmeans.ClusterNodeFactory2&lt;/nowiki&gt;<br /> <br /> ·        KDD: &lt;nowiki&gt;https://ri.uaemex.mx/bitstream/handle/20.500.11799/64109/secme-12408.pdf?sequence=1&amp;isAllowed=y&lt;/nowiki&gt;<br /> <br /> <br /> <br /> Un saludo y Felices Fiestas.</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft_talk:Inform%C3%B3n&diff=29011 2025-12-24T11:27:50Z

<p>FerPerGar: /* Revisión */ new section</p> <hr /> <div>Hola Fernando<br /> <br /> Soy Germán Alonso, compañero de Udima, me gastaría completar tu información con la relación del Informon en la IA. Tengo un documento de la materia de IA donde la profesora Aurora Martínez Rey hace una muy buena explicación al respecto. <br /> <br /> Te adjunto lo que me gastaría agregar:<br /> <br /> == 1. Definición y Naturaleza Ontológica del Informón ==<br /> En el marco teórico de la Inteligencia Artificial (IA) y la Teoría de Sistemas, el '''informón''' se conceptualiza como la unidad elemental de información que posee validez semántica para un sistema, dotándolo de la capacidad para ejecutar procesos de toma de decisiones. Ontológicamente, el informón representa una evolución respecto al dato crudo; mientras que los datos convencionales pueden limitarse a ser conjuntos de señales o símbolos aislados, el valor del informón reside en su interpretación y en la pertinencia del contexto bajo el cual se aplica.<br /> <br /> Desde una perspectiva formal, el informón es la entidad operativa que manipulan los sistemas inteligentes. Su naturaleza es polivalente, ya que puede manifestarse como un dato, una noticia estructurada o conocimiento explícito. Es el insumo fundamental que permite al sistema no solo almacenar registros, sino generar nueva información y representar conocimiento complejo dentro de bases de datos y sistemas expertos<br /> <br /> == 2. Taxonomía y Tipología de los Informones ==<br /> La literatura clasifica los informones en tres categorías jerárquicas, dependiendo de su nivel de abstracción, estructura y función dentro del sistema informático.<br /> <br /> === 2.1. Informones Tipo Dato ===<br /> Esta categoría corresponde al nivel más básico de la jerarquía. Los informones tipo dato se alojan comúnmente en bases de datos y constituyen los registros discretos que el sistema emplea como materia prima para sus inferencias. A pesar de su simplicidad, se diferencian del ruido o la señal pura porque poseen el contexto mínimo necesario para ser procesados por el sistema. Un informón tipo dato sería el registro de una transacción individual, tal como &quot;Retiro de 50€ en el cajero automático X a las 14:00 horas&quot;. Este registro numérico y temporal, almacenado en el historial del cliente, constituye la unidad mínima de información operativa<br /> <br /> === 2.2. Informones Tipo Noticia ===<br /> Estos informones representan un nivel intermedio que implica agregación y contextualización. Se definen como información estructurada que aporta una visión situacional, análoga a un informe o reporte generado por un sistema de información. Su función principal es sintética e informativa, proporcionando una &quot;foto&quot; del estado de una situación. En el contexto de un sistema de monitorización de tráfico urbano, un informón tipo noticia no sería la velocidad de un coche individual, sino un boletín de estado generado automáticamente que indica: &quot;Congestión severa en la Avenida Principal con un tiempo de retraso estimado de 20 minutos&quot;. Este informe sintetiza múltiples datos para ofrecer un contexto accionable<br /> <br /> === 2.3. Informones Tipo Conocimiento ===<br /> Constituyen el nivel superior de complejidad y abstracción. Estos informones son los componentes fundamentales de las bases de conocimiento y se estructuran frecuentemente mediante ontologías. Describen conceptualizaciones consensuadas y relaciones lógicas que el sistema utiliza para realizar inferencias deductivas y tomar decisiones ante problemas no triviales. En el ámbito de la conducción autónoma, un informón tipo conocimiento sería la regla ontológica que establece: &quot;Si el objeto detectado es un 'peatón' y su trayectoria se interseca con la del vehículo, ENTONCES la acción obligatoria es 'frenar'&quot;. No es un dato estadístico ni un reporte, sino una regla lógica de comportamiento que permite al vehículo inferir una situación de peligro y actuar en consecuencia.<br /> <br /> == Bibliografía ==<br /> <br /> * Martinez, M. A. La Inteligencia Artificial, los problemas y las bases teóricas para su solución.<br /> <br /> == Proposal ==<br /> <br /> Buenas, Fernando.<br /> <br /> Lo primero de todo, pensaba que al editar y enviar se enviaba para validación primero y luego aprobación, pero a mi me aparece lo que he redactado. Solicitaré asistencia sobre este tema porque veo que se puede ir a una versión anterior.<br /> <br /> Por otro lado, soy compañero en la UDIMA. Te dejo lo que he estado trabajando estos días por si te es de ayuda:<br /> <br /> == Definición ==<br /> En el ámbito de la Inteligencia Artificial (IA), un '''informón''' es una unidad mínima de información significativa que un sistema puede utilizar para resolver problemas complejos. Su concepto surge para cuantificar cuánta información es relevante y efectiva en la toma de decisiones de sistemas que operan en entornos con múltiples variables, donde el cálculo exhaustivo de todas las combinaciones sería inviable.<br /> <br /> &lt;math&gt;<br /> I_k = f(V_k, R)<br /> &lt;/math&gt;<br /> <br /> donde la función &lt;math&gt;f&lt;/math&gt; cuantifica qué parte de la información contenida en &lt;math&gt;V_k&lt;/math&gt; resulta relevante y utilizable para un objetivo de decisión específico.<br /> <br /> == Interpretaciones ==<br /> El concepto de informón permite comprender cómo los sistemas de IA gestionan la información en entornos complejos. Se puede interpretar desde varias perspectivas:<br /> <br /> * '''Reducción de incertidumbre:''' un informón representa la información que contribuye a disminuir la incertidumbre sobre el estado de un sistema o la predicción de un resultado. Por ejemplo, en un sistema de predicción del clima, la información sobre la presión atmosférica y la humedad puede constituir un informón que reduce significativamente la incertidumbre sobre la probabilidad de lluvia en un día concreto.<br /> * '''Información relevante frente a información redundante:''' los informones ayudan a priorizar datos que tienen un impacto real en la toma de decisiones, descartando información redundante o irrelevante. Esto permite al sistema trabajar de manera más eficiente, evitando cálculos innecesarios.<br /> * '''Medida de eficiencia informativa:''' en un proceso de decisión automatizado, la presencia de informones indica que el sistema puede resolver problemas complejos sin necesidad de analizar exhaustivamente todas las variables posibles. Por ejemplo, un sistema de recomendación puede usar como informón la información sobre los géneros de películas preferidos por un usuario, ignorando temporalmente otras variables menos relevantes.<br /> <br /> En resumen, un informón no es simplemente un dato, sino una unidad de información significativa que tiene un valor funcional en la resolución de problemas dentro de un sistema de IA.<br /> <br /> == Propiedades ==<br /> Los informones presentan varias propiedades esenciales que permiten caracterizar su uso en sistemas de inteligencia artificial:<br /> <br /> # '''Modularidad:''' un sistema puede contener múltiples informones, cada uno asociado a distintos subconjuntos de variables. Esta organización modular facilita la gestión de la información y permite que el sistema tome decisiones específicas en contextos determinados.<br /> # '''No aditividad completa:''' la suma de todos los informones relevantes no necesariamente equivale a la entropía total del sistema, debido a la existencia de información redundante o superpuesta entre distintos informones. Por ejemplo, dos informones que contienen parcialmente la misma información sobre sensores de un robot no sumarán linealmente en términos de conocimiento total.<br /> # '''Medida de eficiencia:''' la cuantificación de informones permite evaluar la eficiencia del sistema, mostrando qué tan bien se utiliza la información disponible para la toma de decisiones. Esto es útil en sistemas con restricciones computacionales o de tiempo, donde analizar toda la información posible sería costoso.<br /> # '''Contextualidad:''' un informón tiene relevancia en un contexto específico. La misma unidad de información puede ser más o menos significativa dependiendo del objetivo del sistema y de las variables que se consideren críticas.<br /> <br /> Estas propiedades hacen que los informones sean un concepto clave para analizar la capacidad informativa de sistemas de IA y su eficiencia en la resolución de problemas complejos.<br /> <br /> == Aplicaciones ==<br /> El concepto de informón tiene aplicaciones prácticas en múltiples campos de la inteligencia artificial y sistemas basados en información:<br /> <br /> * '''Sistemas de recomendación:''' en plataformas de streaming o comercio electrónico, los informones representan información sobre las preferencias del usuario, como géneros, productos comprados o hábitos de consumo. Esta información permite generar recomendaciones precisas sin necesidad de analizar exhaustivamente todo el catálogo disponible. Por ejemplo, un informón puede ser “el usuario suele ver películas de ciencia ficción los fines de semana”, lo que ayuda a reducir la incertidumbre sobre qué contenido sugerir.<br /> * '''Robótica y navegación:''' en robots autónomos, los informones pueden representar datos de sensores sobre obstáculos, condiciones del terreno o ubicación de objetos. Esta información selectiva permite planificar rutas más eficientes y seguras sin procesar toda la información del entorno. Por ejemplo, un robot explorador puede usar informones de sensores de proximidad para decidir el mejor camino a seguir en tiempo real.<br /> * '''Procesamiento de lenguaje natural:''' los informones pueden representar palabras o frases clave dentro de un texto que son relevantes para comprender el significado o generar respuestas. Esto permite a los sistemas de IA centrarse en la información más significativa y reducir la complejidad del análisis.<br /> * '''Optimización de sistemas complejos:''' en sistemas que manejan grandes volúmenes de datos, los informones permiten identificar qué información es realmente útil para alcanzar un objetivo, evitando el análisis exhaustivo de datos irrelevantes y optimizando recursos computacionales.<br /> <br /> En todos estos casos, los informones ayudan a los sistemas de IA a operar de manera eficiente, enfocándose en la información que realmente contribuye a la resolución de problemas o a la toma de decisiones.<br /> <br /> == Véase también ==<br /> <br /> * [[Teoría de la información]]<br /> * [[Entropía o cantidad de información|Entropía]]<br /> * [[Información mutua]]<br /> * [[Artificial Intelligence|Inteligencia artificial]]<br /> <br /> == Referencias ==<br /> <br /> # Shannon, C. E. (1948). ''A Mathematical Theory of Communication''. Bell System Technical Journal.<br /> # Russell, S., &amp; Norvig, P. (2020). ''Artificial Intelligence: A Modern Approach''. Pearson.<br /> # Liu, B. et al. (2021). ''Information Units and AI Decision Making''. Journal of Artificial Intelligence Research.<br /> <br /> == Revisión ==<br /> <br /> Hola Daniel,<br /> Vi que completaste el apartado, perdona que no lo viera antes porque no me apareció ninguna notificación. Como ha pasado cierto tiempo, completé otro artículo diferente, el de Entropía Relativa, muy relacionada con nuestra asignatura, así que no hay ningún problema.<br /> Muchas gracias.</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28918 2025-12-23T11:59:24Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> <br /> == Introducción ==<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius&lt;ref&gt;Clausius, R. J. E. (1982). ''Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen: (1850)''.&lt;/ref&gt; en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001)&lt;ref&gt;Shannon, C. E. (1948). A Mathematical Theory of Communication. En ''Bell System Technical Journal'' (Vol. 27, Número 4, pp. 623-656). &lt;nowiki&gt;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x&lt;/nowiki&gt;&lt;/ref&gt; el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Por ejemplo, en la frase &quot;la liebre corre más que la tortuga&quot;, 'la', repetida dos veces y 'que', no aportan ninguna información nueva, mientras que 'liebre', 'corre', 'más' y 'tortuga' aportan conocimiento al sistema para entender que la liebre es más rápida. Para encontrar más información sobre la entropía, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> Dentro de la entropía, conseguimos distinguir diversas variantes, como la entropía conjunta, marginal, condicional, y la entropía relativa. En este apartado hablaremos de las entropías conjunta, marginal y relativa, para después entender el concepto de información mutua, que nos ayudará a tener una medida de cantidad de información que contiene una variable aleatoria en relación con otra.<br /> <br /> == Entropía conjunta y entropía marginal ==<br /> Antes de entrar en la entropía relativa, tenemos que entender dos conceptos más, la entropía marginal y la entropía conjunta.<br /> <br /> * '''Entropía marginal:''' Es la cantidad de información que contiene una variable aleatoria por sí sola, y se define por la siguiente fórmula, basada en la distribución de probabilidad marginal:<br /> &lt;math&gt;H(X) = -\sum_{x\in X} p(x)\log_2p(x)&lt;/math&gt;<br /> * '''Entropía conjunta:''' La entropía conjunta describe la cantidad de información media que se necesita para describir dos variables aleatorias. Esto es, la entropía de una variable aleatoria bidimensional, en la que entran las dos variables aleatorias del conjunto:<br /> &lt;math&gt;H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}&lt;/math&gt;&lt;ref&gt;[[Entropía conjunta]]&lt;/ref&gt;<br /> == Entropía relativa ==<br /> <br /> La entropía relativa, también conocida como la distancia de Kullback Leibler D(p||q)&lt;ref&gt;Kullback, S.; Leibler, R.A. (1951). «On Information and Sufficiency». ''Annals of Mathematical Statistics'' '''22''' (1): 79-86. &lt;small&gt;MR 39968&lt;/small&gt;. &lt;small&gt;doi:&lt;/small&gt;https://dx.doi.org/10.1214%2Faoms%2F1177729694&lt;/ref&gt;, es la medida de cuanta distancia hay entre dos distribuciones. Se mide cuanta ineficiencia surge al asumir que una distribución es 'q' cuando en realidad es 'p'.<br /> <br /> Así, la entropía relativa entre dos distribuciones de probabilidad p(x) y q(x) sería la siguiente:<br /> <br /> &lt;math&gt;D(p || q) = \overset{}{\underset{x\in\text{x}}{\Sigma}} p(x) log_2\left ( \frac{p(x)}{q(x)} \right ) = E_p log_2\left ( \frac{p(x)}{q(x)} \right ) &lt;/math&gt;&lt;ref&gt;''Fundamentos de los sistemas de información'' (CEF-UDIMA). (s. f.). https://drive.google.com/file/d/1XV0J9vGIg97HlmTirJOCfAqf0uFnO4qW/view?usp=sharing&lt;/ref&gt;<br /> <br /> Es importante aclarar que, como se puede ver con la fórmula descrita, D(p || q) ≠ D(q || p) salvo que la distancia entre las dos sea 0, entonces sí que serían iguales. <br /> <br /> A partir de todo lo comentado podemos observar que la entropía relativa es siembre no negativa, y 0 solo si p = q.<br /> <br /> == Información Mutua ==<br /> Un concepto muy relacionado en cuanto a sistemas de la información se trata es el concepto de &quot;información mutua&quot;, que mide la cantidad de información de una variable aleatoria sobre otra variable aleatoria. Esto quiere decir, a partir del conocimiento disponible de una variable aleatoria, se puede reducir la incertidumbre de la segunda. <br /> <br /> Para entender su funcionamiento, lo tratamos con un ejemplo: Sean dos variables X e Y, que tienen una función de probabilidad conjunta de p(X,Y), y unas de probabilidad marginal p(X) y p(Y), la información mutua I(X,Y) es la entropía relativa entre la distribución conjunta y el producto de las distribuciones marginales (p(X)p(Y)): <br /> <br /> &lt;math&gt;I(X,Y) = \sum_{x\in X} \sum_{y\in Y}p(X, Y)\log_2\frac{p(X,Y)}{p(X),p(Y)}=\sigma(p(X,Y)'||p(X)p(Y) = E_{p(X,Y)}log_2\frac{p(X,Y)}{p(X),p(Y)}&lt;/math&gt; <br /> <br /> Es fácil demostrar que, en definitiva, la información mutua no es más que la intersección entre las entropías marginales de las dos variables aleatorias, y podemos calcularlo de la siguiente forma: <br /> <br /> &lt;math&gt;I(X,Y) = H(X) - H(X/Y) = H(Y) - H(Y/X)&lt;/math&gt; <br /> <br /> == Aplicación en entornos reales ==<br /> La información mutua, y por ende, la entropía relativa, son conceptos muy relevantes en la teoría de la información, y puede usarse en técnicas de Machine Learning, muy relevantes en el mundo actual para la mejora de cualquier modelo de Inteligencia Artificial (IA), haciéndolos más eficientes y capaces de relacionar más conceptos que los definidos por el programador en primera instancia, que pueden quedarse obsoletos o estar incompletos dependiendo de la complejidad del modelo en cuestión.<br /> <br /> Un ejemplo claro de uso sería en el aprendizaje profundo supervisado, donde la pérdida de entropía cruzada (directamente relacionada con la entropía relativa) es fundamental para la clasificación del conocimiento. Al minimizar la distancia entre cada variable, las redes neuronales funcionan mejor, optimizando sus búsquedas y el proceso de aprendizaje.&lt;ref&gt;Bishop, C. M. (2016). ''Pattern Recognition and Machine Learning''. Springer.&lt;/ref&gt;<br /> <br /> Aunque en primera instancia pueda parecer una abstracción matemática, la entropía relativa es una métrica fundamental para cuantificar y optimizar el &quot;coste&quot; de la discrepancia informativa. Esta capacidad permite a los sistemas de IA modernos ir más allá de la mera acumulación de información: les ofrece un principio matemático para refinar su heurística, optimizar su arquitectura interna y mejorar continuamente sus procesos de razonamiento y toma de decisiones de forma eficiente y automatizada.<br /> <br /> == Bibliografía ==<br /> <br /> * Fernández Boyero, Y. (2019). Entropía relativa y riesgo de modelo en derivados de renta variable.<br /> &lt;references /&gt;</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28913 2025-12-23T11:09:20Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> <br /> == Introducción ==<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius&lt;ref&gt;Clausius, R. J. E. (1982). ''Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen: (1850)''.&lt;/ref&gt; en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001)&lt;ref&gt;Shannon, C. E. (1948). A Mathematical Theory of Communication. En ''Bell System Technical Journal'' (Vol. 27, Número 4, pp. 623-656). &lt;nowiki&gt;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x&lt;/nowiki&gt;&lt;/ref&gt; el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Por ejemplo, en la frase &quot;la liebre corre más que la tortuga&quot;, 'la', repetida dos veces y 'que', no aportan ninguna información nueva, mientras que 'liebre', 'corre', 'más' y 'tortuga' aportan conocimiento al sistema para entender que la liebre es más rápida. Para encontrar más información sobre la entropía, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> Dentro de la entropía, conseguimos distinguir diversas variantes, como la entropía conjunta, marginal, condicional, y la entropía relativa. En este apartado hablaremos de las entropías conjunta, marginal y relativa, para después entender el concepto de información mutua, que nos ayudará a tener una medida de cantidad de información que contiene una variable aleatoria en relación con otra.<br /> <br /> == Entropía conjunta y entropía marginal ==<br /> Antes de entrar en la entropía relativa, tenemos que entender dos conceptos más, la entropía marginal y la entropía conjunta.<br /> <br /> * '''Entropía marginal:''' Es la cantidad de información que contiene una variable aleatoria por sí sola, y se define por la siguiente fórmula, basada en la distribución de probabilidad marginal:<br /> &lt;math&gt;H(X) = -\sum_{x\in X} p(x)\log_2p(x)&lt;/math&gt;<br /> * '''Entropía conjunta:''' La entropía conjunta describe la cantidad de información media que se necesita para describir dos variables aleatorias. Esto es, la entropía de una variable aleatoria bidimensional, en la que entran las dos variables aleatorias del conjunto:<br /> &lt;math&gt;H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}&lt;/math&gt;&lt;ref&gt;[[Entropía conjunta]]&lt;/ref&gt;<br /> == Entropía relativa ==<br /> <br /> La entropía relativa, también conocida como la distancia de Kullback Leibler D(p||q)&lt;ref&gt;Kullback, S.; Leibler, R.A. (1951). «On Information and Sufficiency». ''Annals of Mathematical Statistics'' '''22''' (1): 79-86. &lt;small&gt;MR 39968&lt;/small&gt;. &lt;small&gt;doi:&lt;/small&gt;https://dx.doi.org/10.1214%2Faoms%2F1177729694&lt;/ref&gt;, es la medida de cuanta distancia hay entre dos distribuciones. Se mide cuanta ineficiencia surge al asumir que una distribución es 'q' cuando en realidad es 'p'.<br /> <br /> Así, la entropía relativa entre dos distribuciones de probabilidad p(x) y q(x) sería la siguiente:<br /> <br /> &lt;math&gt;D(p || q) = \overset{}{\underset{x\in\text{x}}{\Sigma}} p(x) log_2\left ( \frac{p(x)}{q(x)} \right ) = E_p log_2\left ( \frac{p(x)}{q(x)} \right ) &lt;/math&gt;&lt;ref&gt;''Fundamentos de los sistemas de información'' (CEF-UDIMA). (s. f.). https://drive.google.com/file/d/1XV0J9vGIg97HlmTirJOCfAqf0uFnO4qW/view?usp=sharing&lt;/ref&gt;<br /> <br /> Es importante aclarar que, como se puede ver con la fórmula descrita, D(p || q) ≠ D(q || p) salvo que la distancia entre las dos sea 0, entonces sí que serían iguales. <br /> <br /> A partir de todo lo comentado podemos observar que la entropía relativa es siembre no negativa, y 0 solo si p = q.<br /> <br /> == Información Mutua ==<br /> Un concepto muy relacionado en cuanto a sistemas de la información se trata es el concepto de &quot;información mutua&quot;, que mide la cantidad de información de una variable aleatoria sobre otra variable aleatoria. Esto quiere decir, a partir del conocimiento disponible de una variable aleatoria, se puede reducir la incertidumbre de la segunda. <br /> <br /> Para entender su funcionamiento, lo tratamos con un ejemplo: Sean dos variables X e Y, que tienen una función de probabilidad conjunta de p(X,Y), y unas de probabilidad marginal p(X) y p(Y), la información mutua I(X,Y) es la entropía relativa entre la distribución conjunta y el producto de las distribuciones marginales (p(X)p(Y)): <br /> <br /> &lt;math&gt;I(X,Y) = \sum_{x\in X} \sum_{y\in Y}p(X, Y)\log_2\frac{p(X,Y)}{p(X),p(Y)}=\sigma(p(X,Y)'||p(X)p(Y) = E_{p(X,Y)}log_2\frac{p(X,Y)}{p(X),p(Y)}&lt;/math&gt; <br /> <br /> Es fácil demostrar que, en definitiva, la información mutua no es más que la intersección entre las entropías marginales de las dos variables aleatorias, y podemos calcularlo de la siguiente forma: <br /> <br /> &lt;math&gt;I(X,Y) = H(X) - H(X/Y) = H(Y) - H(Y/X)&lt;/math&gt; <br /> <br /> == Aplicación en entornos reales ==<br /> La información mutua, y por ende, la entropía relativa, son conceptos muy relevantes en la teoría de la información, y puede usarse en técnicas de Machine Learning, muy relevantes en el mundo actual para el aprendizaje de cualquier entorno de Inteligencia Artificial (IA), ya que todas las IAs modernas necesitan tener una base de conocimiento expandible que les ayude a mejorar en sus razonamientos, sus formas de llegar a un mismo resultado de forma más óptima mejorando la heurística.<br /> <br /> == Bibliografía ==<br /> <br /> * Fernández Boyero, Y. (2019). Entropía relativa y riesgo de modelo en derivados de renta variable.<br /> &lt;references /&gt;</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28862 2025-12-22T18:22:26Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> <br /> == Introducción ==<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius&lt;ref&gt;Clausius, R. J. E. (1982). ''Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen: (1850)''.&lt;/ref&gt; en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001)&lt;ref&gt;Shannon, C. E. (1948). A Mathematical Theory of Communication. En ''Bell System Technical Journal'' (Vol. 27, Número 4, pp. 623-656). &lt;nowiki&gt;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x&lt;/nowiki&gt;&lt;/ref&gt; el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Por ejemplo, en la frase &quot;la liebre corre más que la tortuga&quot;, 'la', repetida dos veces y 'que', no aportan ninguna información nueva, mientras que 'liebre', 'corre', 'más' y 'tortuga' aportan conocimiento al sistema para entender que la liebre es más rápida. Para encontrar más información sobre la entropía, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> Dentro de la entropía, conseguimos distinguir diversas variantes, como la entropía conjunta, marginal, condicional, y la entropía relativa. En este apartado hablaremos de las entropías conjunta, marginal y relativa, para después entender el concepto de información mutua, que nos ayudará a tener una medida de cantidad de información de una variable a partir de otra.<br /> <br /> == Entropía conjunta y entropía marginal ==<br /> Antes de entrar en la entropía relativa, tenemos que entender dos conceptos más, la entropía marginal y la entropía conjunta.<br /> <br /> * '''Entropía marginal:''' Es la cantidad información que contiene una variable aleatoria por sí sola, y se define por la siguiente fórmula:<br /> &lt;math&gt;H(X) = -\sum_{x\in X} p(x)\log_2p(x)&lt;/math&gt;<br /> * '''Entropía conjunta:''' La entropía conjunta describe la cantidad de información media que se necesita para describir dos variables aleatorias. Esto es, la entropía de una variable aleatoria bidimensional, en la que entran las dos variables aleatorias del conjunto:<br /> &lt;math&gt;H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}&lt;/math&gt;&lt;ref&gt;[[Entropía conjunta]]&lt;/ref&gt;<br /> == Entropía relativa ==<br /> <br /> La entropía relativa, también conocida como la distancia de Kullback Leibler D(p||q)&lt;ref&gt;Kullback, S.; Leibler, R.A. (1951). «On Information and Sufficiency». ''Annals of Mathematical Statistics'' '''22''' (1): 79-86. &lt;small&gt;MR 39968&lt;/small&gt;. &lt;small&gt;doi:&lt;/small&gt;https://dx.doi.org/10.1214%2Faoms%2F1177729694&lt;/ref&gt;, es la medida de cuanta distancia hay entre dos distribuciones. Se mide cuanta ineficiencia surge al asumir que una distribución es 'q' cuando en realidad es 'p'.<br /> <br /> Así, la entropía relativa entre dos distribuciones de probabilidad p(x) y q(x) sería la siguiente:<br /> <br /> &lt;math&gt;D(p || q) = \overset{}{\underset{x\in\text{x}}{\Sigma}} p(x) log_2\left ( \frac{p(x)}{q(x)} \right ) = E_p log_2\left ( \frac{p(x)}{q(x)} \right ) &lt;/math&gt;&lt;ref&gt;''Fundamentos de los sistemas de información'' (CEF-UDIMA). (s. f.). https://drive.google.com/file/d/1XV0J9vGIg97HlmTirJOCfAqf0uFnO4qW/view?usp=sharing&lt;/ref&gt;<br /> <br /> Es importante aclarar que, como se puede ver con la fórmula descrita, D(p || q) ≠ D(q || p) salvo que la distancia entre las dos sea 0, entonces sí que serían iguales. <br /> <br /> A partir de todo lo comentado podemos observar que la entropía relativa es siembre no negativa, y 0 solo si p = q.<br /> <br /> == Información Mutua ==<br /> Un concepto muy relacionado en cuanto a sistemas de la información se trata es el concepto de &quot;información mutua&quot;, que mide la cantidad de información de una variable aleatoria sobre otra variable aleatoria. Esto quiere decir, a partir del conocimiento disponible de una variable aleatoria, se puede reducir la incertidumbre de la segunda. <br /> <br /> Para entender su funcionamiento, lo tratamos con un ejemplo: <br /> <br /> Sean dos variables X e Y, que tienen una función de probabilidad conjunta de p(X,Y), y unas de probabilidad marginal p(X) y p(Y), la información mutua I(X,Y) es la entropía relativa entre la distribución conjunta y el producto de las distribuciones marginales (p(X)p(Y)): <br /> <br /> &lt;math&gt;I(X,Y) = \sum_{x\in X} \sum_{y\in Y}p(X, Y)\log_2\frac{p(X,Y)}{p(X),p(Y)}=\sigma(p(X,Y)'||p(X)p(Y) = E_{p(X,Y)}log_2\frac{p(X,Y)}{p(X),p(Y)}&lt;/math&gt; <br /> <br /> Es fácil demostrar que al final la información mutua no es más que la intersección entre las entropías marginales de las dos variables aleatorias. <br /> <br /> == Bibliografía ==<br /> <br /> * Fernández Boyero, Y. (2019). Entropía relativa y riesgo de modelo en derivados de renta variable.<br /> &lt;references /&gt;</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28861 2025-12-22T18:05:43Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> <br /> == Introducción ==<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius&lt;ref&gt;Clausius, R. J. E. (1982). ''Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen: (1850)''.&lt;/ref&gt; en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001)&lt;ref&gt;Shannon, C. E. (1948). A Mathematical Theory of Communication. En ''Bell System Technical Journal'' (Vol. 27, Número 4, pp. 623-656). &lt;nowiki&gt;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x&lt;/nowiki&gt;&lt;/ref&gt; el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Por ejemplo, en la frase &quot;la liebre corre más que la tortuga&quot;, 'la', repetida dos veces y 'que', no aportan ninguna información nueva, mientras que 'liebre', 'corre', 'más' y 'tortuga' aportan conocimiento al sistema para entender que la liebre es más rápida. Para encontrar más información sobre la entropía, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> Dentro de la entropía, conseguimos distinguir diversas variantes, como la entropía conjunta, marginal, condicional, y la entropía relativa. En este apartado hablaremos de las entropías conjunta, marginal y relativa, para después entender el concepto de información mutua, que nos ayudará a tener una medida de cantidad de información de una variable a partir de otra.<br /> <br /> == Entropía conjunta y entropía marginal ==<br /> Antes de entrar en la entropía relativa, tenemos que entender dos conceptos más, la entropía marginal y la entropía conjunta.<br /> <br /> * '''Entropía marginal:''' Es la cantidad información que contiene una variable aleatoria por sí sola, y se define por la siguiente fórmula:<br /> &lt;math&gt;H(X) = -\sum_{x\in X} p(x)\log_2p(x)&lt;/math&gt;<br /> * '''Entropía conjunta:''' La entropía conjunta describe la cantidad de información media que se necesita para describir dos variables aleatorias. Esto es, la entropía de una variable aleatoria bidimensional, en la que entran las dos variables aleatorias del conjunto:<br /> &lt;math&gt;H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}&lt;/math&gt;&lt;ref&gt;[[Entropía conjunta]]&lt;/ref&gt;<br /> == Entropía relativa ==<br /> <br /> La entropía relativa, también conocida como la distancia de Kullback Leibler D(p||q)&lt;ref&gt;Kullback, S.; Leibler, R.A. (1951). «On Information and Sufficiency». ''Annals of Mathematical Statistics'' '''22''' (1): 79-86. &lt;small&gt;MR 39968&lt;/small&gt;. &lt;small&gt;doi:&lt;/small&gt;https://dx.doi.org/10.1214%2Faoms%2F1177729694&lt;/ref&gt;, es la medida de cuanta distancia hay entre dos distribuciones. Se mide cuanta ineficiencia surge al asumir que una distribución es 'q' cuando en realidad es 'p'.<br /> <br /> Así, la entropía relativa entre dos distribuciones de probabilidad p(x) y q(x) sería la siguiente:<br /> <br /> &lt;math&gt;D(p || q) = \overset{}{\underset{x\in\text{x}}{\Sigma}} p(x) log_2\left ( \frac{p(x)}{q(x)} \right ) = E_p log_2\left ( \frac{p(x)}{q(x)} \right ) &lt;/math&gt;&lt;ref&gt;''Fundamentos de los sistemas de información'' (CEF-UDIMA). (s. f.). https://drive.google.com/file/d/1XV0J9vGIg97HlmTirJOCfAqf0uFnO4qW/view?usp=sharing&lt;/ref&gt;<br /> <br /> Es importante aclarar que, como se puede ver con la fórmula descrita, D(p || q) ≠ D(q || p) salvo que la distancia entre las dos sea 0, entonces sí que serían iguales. <br /> <br /> A partir de todo lo comentado podemos observar que la entropía relativa es siembre no negativa, y 0 solo si p = q.<br /> <br /> == Información Mutua ==<br /> Un concepto muy relacionado en cuanto a sistemas de la información se trata es el concepto de &quot;información mutua&quot;, que mide la cantidad de información de una variable aleatoria sobre otra variable aleatoria. Esto quiere decir, <br /> == Bibliografía ==<br /> <br /> * Fernández Boyero, Y. (2019). Entropía relativa y riesgo de modelo en derivados de renta variable.<br /> &lt;references /&gt;</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28858 2025-12-22T17:56:54Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> <br /> == Introducción ==<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius&lt;ref&gt;Clausius, R. J. E. (1982). ''Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen: (1850)''.&lt;/ref&gt; en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001)&lt;ref&gt;Shannon, C. E. (1948). A Mathematical Theory of Communication. En ''Bell System Technical Journal'' (Vol. 27, Número 4, pp. 623-656). &lt;nowiki&gt;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x&lt;/nowiki&gt;&lt;/ref&gt; el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Por ejemplo, en la frase &quot;la liebre corre más que la tortuga&quot;, 'la', repetida dos veces y 'que', no aportan ninguna información nueva, mientras que 'liebre', 'corre', 'más' y 'tortuga' aportan conocimiento al sistema para entender que la liebre es más rápida. Para encontrar más información sobre la entropía, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> Dentro de la entropía, conseguimos distinguir diversas variantes, como la entropía conjunta, marginal, condicional, y la entropía relativa. En este apartado hablaremos de las entropías conjunta, marginal y relativa, para después entender el concepto de información mutua, que nos ayudará a tener una medida de cantidad de información de una variable a partir de otra.<br /> <br /> == Entropía conjunta y entropía marginal ==<br /> Antes de entrar en la entropía relativa, tenemos que entender dos conceptos más, la entropía conjunta y la entropía marginal.<br /> <br /> * '''Entropía conjunta:''' Teniendo la entropía, que es la información que contiene una palabra, la entropía conjunta describe la cantidad de información media que se necesita para describir dos variables aleatorias. Esto es, la entropía de una variable aleatoria bidimensional, en la que entran las dos variables aleatorias del conjunto: <br /> &lt;math&gt;H(X,Y) = \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)\log\frac{1}{p(x_i, y_j)}&lt;/math&gt;&lt;ref&gt;[[Entropía conjunta]]&lt;/ref&gt; <br /> * '''Entropía marginal:''' <br /> <br /> == Entropía marginal ==<br /> <br /> == Entropía relativa ==<br /> <br /> La entropía relativa, también conocida como la distancia de Kullback Leibler D(p||q)&lt;ref&gt;Kullback, S.; Leibler, R.A. (1951). «On Information and Sufficiency». ''Annals of Mathematical Statistics'' '''22''' (1): 79-86. &lt;small&gt;MR 39968&lt;/small&gt;. &lt;small&gt;doi:&lt;/small&gt;https://dx.doi.org/10.1214%2Faoms%2F1177729694&lt;/ref&gt;, es la medida de cuanta distancia hay entre dos distribuciones. Se mide cuanta ineficiencia surge al asumir que una distribución es 'q' cuando en realidad es 'p'.<br /> <br /> Así, la entropía relativa entre dos distribuciones de probabilidad p(x) y q(x) sería la siguiente:<br /> <br /> &lt;math&gt;D(p || q) = \overset{}{\underset{x\in\text{x}}{\Sigma}} p(x) log_2\left ( \frac{p(x)}{q(x)} \right ) = E_p log_2\left ( \frac{p(x)}{q(x)} \right ) &lt;/math&gt;&lt;ref&gt;''Fundamentos de los sistemas de información'' (CEF-UDIMA). (s. f.). https://drive.google.com/file/d/1XV0J9vGIg97HlmTirJOCfAqf0uFnO4qW/view?usp=sharing&lt;/ref&gt;<br /> <br /> Es importante aclarar que, como se puede ver con la fórmula descrita, D(p || q) ≠ D(q || p) salvo que la distancia entre las dos sea 0, entonces sí que serían iguales. <br /> <br /> A partir de todo lo comentado podemos observar que la entropía relativa es siembre no negativa, y 0 solo si p = q.<br /> <br /> == Información Mutua ==<br /> Un concepto muy relacionado en cuanto a sistemas de la información se trata es el concepto de &quot;información mutua&quot;, que mide la cantidad de información de una variable aleatoria sobre otra variable aleatoria. Esto quiere decir, <br /> == Bibliografía ==<br /> <br /> * Fernández Boyero, Y. (2019). Entropía relativa y riesgo de modelo en derivados de renta variable.<br /> &lt;references /&gt;</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28853 2025-12-22T17:33:57Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> <br /> == Introducción ==<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius&lt;ref&gt;Clausius, R. J. E. (1982). ''Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen: (1850)''.&lt;/ref&gt; en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001)&lt;ref&gt;Shannon, C. E. (1948). A Mathematical Theory of Communication. En ''Bell System Technical Journal'' (Vol. 27, Número 4, pp. 623-656). &lt;nowiki&gt;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x&lt;/nowiki&gt;&lt;/ref&gt; el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Por ejemplo, en la frase &quot;la liebre corre más que la tortuga&quot;, 'la', repetida dos veces y 'que', no aportan ninguna información nueva, mientras que 'liebre', 'corre', 'más' y 'tortuga' aportan conocimiento al sistema para entender que la liebre es más rápida. Para encontrar más información sobre la entropía, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> Dentro de la entropía, conseguimos distinguir diversas variantes, como la entropía conjunta, marginal, condicional, y la entropía relativa. En este apartado hablaremos de las entropías conjunta, marginal y relativa, para después entender el concepto de información mutua, que nos ayudará a tener una medida de cantidad de información de una variable a partir de otra.<br /> <br /> == Entropía conjunta ==<br /> <br /> == Entropía marginal ==<br /> <br /> == Entropía relativa ==<br /> <br /> La entropía relativa, también conocida como la distancia de Kullback Leibler D(p||q)&lt;ref&gt;Kullback, S.; Leibler, R.A. (1951). «On Information and Sufficiency». ''Annals of Mathematical Statistics'' '''22''' (1): 79-86. &lt;small&gt;MR 39968&lt;/small&gt;. &lt;small&gt;doi:&lt;/small&gt;https://dx.doi.org/10.1214%2Faoms%2F1177729694&lt;/ref&gt;, es la medida de cuanta distancia hay entre dos distribuciones. Se mide cuanta ineficiencia surge al asumir que una distribución es 'q' cuando en realidad es 'p'.<br /> <br /> Así, la entropía relativa entre dos distribuciones de probabilidad p(x) y q(x) sería la siguiente:<br /> <br /> &lt;math&gt;D(p || q) = \overset{}{\underset{x\in\text{x}}{\Sigma}} p(x) log_2\left ( \frac{p(x)}{q(x)} \right ) = E_p log_2\left ( \frac{p(x)}{q(x)} \right ) &lt;/math&gt;&lt;ref&gt;''Fundamentos de los sistemas de información'' (CEF-UDIMA). (s. f.). https://drive.google.com/file/d/1XV0J9vGIg97HlmTirJOCfAqf0uFnO4qW/view?usp=sharing&lt;/ref&gt;<br /> <br /> Es importante aclarar que, como se puede ver con la fórmula descrita, D(p || q) ≠ D(q || p) salvo que la distancia entre las dos sea 0, entonces sí que serían iguales. <br /> <br /> A partir de todo lo comentado podemos observar que la entropía relativa es siembre no negativa, y 0 solo si p = q.<br /> <br /> == Información Mutua ==<br /> Un concepto muy relacionado en cuanto a sistemas de la información se trata es el concepto de &quot;información mutua&quot;, que mide la cantidad de información de una variable aleatoria sobre otra variable aleatoria. Esto quiere decir, <br /> == Bibliografía ==<br /> <br /> * Fernández Boyero, Y. (2019). Entropía relativa y riesgo de modelo en derivados de renta variable.<br /> &lt;references /&gt;</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28796 2025-12-22T12:51:44Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> <br /> == Introducción ==<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius&lt;ref&gt;Clausius, R. J. E. (1982). ''Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen: (1850)''.&lt;/ref&gt; en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001)&lt;ref&gt;Shannon, C. E. (1948). A Mathematical Theory of Communication. En ''Bell System Technical Journal'' (Vol. 27, Número 4, pp. 623-656). &lt;nowiki&gt;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x&lt;/nowiki&gt;&lt;/ref&gt; el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Por ejemplo, en la frase &quot;la liebre corre más que la tortuga&quot;, 'la', repetida dos veces y 'que', no aportan ninguna información nueva, mientras que 'liebre', 'corre', 'más' y 'tortuga' aportan conocimiento al sistema para entender que la liebre es más rápida. Para encontrar más información sobre la entropía, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> == Entropía relativa ==<br /> <br /> Dentro de la entropía, conseguimos distinguir diversas variantes, como la entropía conjunta, marginal, condicional, y la entropía relativa, que trataremos en profundidad en este apartado.<br /> <br /> La entropía relativa, también conocida como la distancia de Kullback Leibler D(p||q)&lt;ref&gt;Kullback, S.; Leibler, R.A. (1951). «On Information and Sufficiency». ''Annals of Mathematical Statistics'' '''22''' (1): 79-86. &lt;small&gt;MR 39968&lt;/small&gt;. &lt;small&gt;doi:&lt;/small&gt;https://dx.doi.org/10.1214%2Faoms%2F1177729694&lt;/ref&gt;, es la medida de cuanta distancia hay entre dos distribuciones. Se mide cuanta ineficiencia surge al asumir que una distribución es 'q' cuando en realidad es 'p'.<br /> <br /> Así, la entropía relativa entre dos distribuciones de probabilidad p(x) y q(x) sería la siguiente:<br /> <br /> &lt;math&gt;D(p || q) = \overset{}{\underset{x\in\text{x}}{\Sigma}} p(x) log_2\left ( \frac{p(x)}{q(x)} \right ) = &lt;/math&gt;<br /> == Bibliografía ==<br /> <br /> * Fernández Boyero, Y. (2019). Entropía relativa y riesgo de modelo en derivados de renta variable.<br /> * ''Fundamentos de los sistemas de información'' (CEF-UDIMA). (s. f.). https://drive.google.com/file/d/1XV0J9vGIg97HlmTirJOCfAqf0uFnO4qW/view?usp=sharing<br /> &lt;references /&gt;</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28787 2025-12-22T12:15:43Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> <br /> == Introducción ==<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius&lt;ref&gt;Clausius, R. J. E. (1982). ''Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen: (1850)''.&lt;/ref&gt; en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001)&lt;ref&gt;Shannon, C. E. (1948). A Mathematical Theory of Communication. En ''Bell System Technical Journal'' (Vol. 27, Número 4, pp. 623-656). &lt;nowiki&gt;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x&lt;/nowiki&gt;&lt;/ref&gt; el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Por ejemplo, en la frase &quot;la liebre corre más que la tortuga&quot;, 'la', repetida dos veces y 'que', no aportan ninguna información nueva, mientras que 'liebre', 'corre', 'más' y 'tortuga' aportan conocimiento al sistema para entender que la liebre es más rápida. Para encontrar más información sobre la entropía, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> == Entropía relativa ==<br /> <br /> Dentro de la entropía, conseguimos distinguir diversas variantes, como la entropía conjunta, marginal, condicional, y la entropía relativa, que trataremos en profundidad en este apartado.<br /> <br /> La entropía relativa, también conocida como la distancia de Kullback Leibler&lt;ref&gt;Kullback, S.; Leibler, R.A. (1951). «On Information and Sufficiency». ''Annals of Mathematical Statistics'' '''22''' (1): 79-86. &lt;small&gt;MR 39968&lt;/small&gt;. &lt;small&gt;doi:&lt;/small&gt;https://dx.doi.org/10.1214%2Faoms%2F1177729694&lt;/ref&gt;<br /> == Bibliografía ==<br /> <br /> * Fernández Boyero, Y. (2019). Entropía relativa y riesgo de modelo en derivados de renta variable.<br /> * ''Fundamentos de los sistemas de información'' (CEF-UDIMA). (s. f.). https://drive.google.com/file/d/1XV0J9vGIg97HlmTirJOCfAqf0uFnO4qW/view?usp=sharing<br /> &lt;references /&gt;</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28703 2025-12-21T18:40:44Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> <br /> == Introducción ==<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius&lt;ref&gt;[http://gallica.bnf.fr/ark:/12148/bpt6k15164w/f384.table]&lt;/ref&gt; en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001)&lt;ref&gt;Shannon, C. E. (1948). A Mathematical Theory of Communication. En ''Bell System Technical Journal'' (Vol. 27, Número 4, pp. 623-656). &lt;nowiki&gt;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x&lt;/nowiki&gt;&lt;/ref&gt; el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Por ejemplo, en la frase &quot;la liebre corre más que la tortuga&quot;, 'la', repetida dos veces y 'que', no aportan ninguna información nueva, mientras que 'liebre', 'corre', 'más' y 'tortuga' aportan conocimiento al sistema para entender que la liebre es más rápida. Para encontrar más información sobre la entropía, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> == Entropía relativa ==<br /> <br /> <br /> == Bibliografía ==<br /> <br /> * Fernández Boyero, Y. (2019). Entropía relativa y riesgo de modelo en derivados de renta variable.</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28702 2025-12-21T18:22:00Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> <br /> == Introducción ==<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001) el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Para más información, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> == Entropía relativa ==</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28701 2025-12-21T18:14:44Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001) el que usó el término para otro objetivo: dilucidar cuanta información contiene una palabra dentro de un texto. Para más información, acudir al apartado correspondiente: [[Draft:Entropía]].<br /> <br /> &lt;references /&gt;</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28700 2025-12-21T18:06:18Z

<p>FerPerGar: </p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> El término &quot;''entropía''&quot; fue acuñado por primera vez por el físico alemán Rudolf Clausius en 1850 a partir del griego ''ἐντροπία'' (evolución, o transformación), para definir una forma de medir el equilibrio de un sistema termodinámico.<br /> <br /> En sistemas de información fue el matemático Claude E. Shannon (1916-2001) el que usó el término para</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Entrop%C3%ADa_relativa&diff=28699 2025-12-21T17:50:43Z

<p>FerPerGar: Created page with &quot;{{Proposal |Was created on date=2025-12-21 |Belongs to clarus=Sistemas e información |Has author=Fernando Pérez García (FerPerGar) |Has publication status=glossaLAB:Open }}&quot;</p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-21<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Inform%C3%B3n&diff=28278 2025-12-06T09:02:55Z

<p>FerPerGar: Formato e información</p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-05<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> En el ámbito de la Inteligencia Artificial (IA), la información es clave para que un sistema pueda resolver problemas complejos en un entorno real, donde hay demasiadas variables para que se pueda calcular todo sin reglas o conceptos que ayuden a encontrar soluciones de forma más eficiente.<br /> <br /> El concepto informón surge en este ámbito para definir y numerar cuanta información se puede utilizar en un sistema y así resolver problemas que de otra forma serían inviables.<br /> <br /> Un informón</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Inform%C3%B3n&diff=28244 2025-12-05T12:55:21Z

<p>FerPerGar: Comienzo del desarrollo del concepto &quot;informón&quot;</p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-05<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}<br /> El concepto informón surge en el ámbito de la Inteligencia Artificial (IA) para definir y numerar cuanta información se tiene disponible para que pueda acceder la es la unidad básica de información la propia IA.</div>

FerPerGar https://www.glossalab.org/w/index.php?title=Draft:Inform%C3%B3n&diff=28243 2025-12-05T12:49:43Z

<p>FerPerGar: Created page with &quot;{{Proposal |Was created on date=2025-12-05 |Belongs to clarus=Sistemas e información |Has author=Fernando Pérez García (FerPerGar) |Has publication status=glossaLAB:Open }}&quot;</p> <hr /> <div>{{Proposal<br /> |Was created on date=2025-12-05<br /> |Belongs to clarus=Sistemas e información<br /> |Has author=Fernando Pérez García (FerPerGar)<br /> |Has publication status=glossaLAB:Open<br /> }}</div>

FerPerGar https://www.glossalab.org/w/index.php?title=User:FerPerGar&diff=27353 2025-11-06T17:07:48Z

<p>FerPerGar: </p> <hr /> <div>{{Person<br /> |Given name=Fernando<br /> |Family name=Pérez García<br /> |Sex=Male<br /> |Country=Spain<br /> |Institution=Universidad a Distancia de Madrid (UDIMA)<br /> |Professional category=Technicians and associate professionals<br /> |Academic degree=Professional Degree<br /> |KD of expertise=ITIL, Scrum, BI, Databases<br /> |Current academic institution=Universidad a Distancia de Madrid (UDIMA)<br /> |Current academic level=Bachelor’s Degree<br /> |Current academic degree=Technology Information<br /> |input language=EN (English)<br /> }}<br /> System and Networks Adminsitration (ISEP CEU)<br /> <br /> I´m working at NTTData maintaining and designing IT Governance Processes.<br /> <br /> Currently studying this subject for the Information Technology Degree at UDIMA.<br /> [[Category:Person]]</div>

FerPerGar https://www.glossalab.org/w/index.php?title=User:FerPerGar&diff=27273 2025-11-06T16:26:20Z

<p>FerPerGar: </p> <hr /> <div>{{Person<br /> |Given name=Fernando<br /> |Family name=Pérez García<br /> |Sex=Male<br /> |Country=Spain<br /> |Institution=Universidad a Distancia de Madrid (UDIMA)<br /> |Professional category=Technicians and associate professionals<br /> |Academic degree=Professional Degree<br /> |KD of expertise=ITIL, Scrum, BI, Databases<br /> |Current academic institution=Universidad a Distancia de Madrid (UDIMA)<br /> |Current academic level=Bachelor’s Degree<br /> |Current academic degree=Technology Information<br /> |input language=EN (English)<br /> }}<br /> System and Networks Adminsitration (ISEP CEU)<br /> <br /> I´m working at NTTData maintaining and designing IT Governance Processes.<br /> [[Category:Person]]</div>

FerPerGar https://www.glossalab.org/w/index.php?title=User:FerPerGar&diff=27255 2025-11-06T16:21:19Z

<p>FerPerGar: </p> <hr /> <div>{{Person<br /> |Given name=Fernando<br /> |Family name=Pérez García<br /> |Sex=Male<br /> |Country=Spain<br /> |Institution=Universidad a Distancia de Madrid (UDIMA)<br /> |Professional category=Technicians and associate professionals<br /> |Academic degree=Professional Degree<br /> |KD of expertise=ITIL, Scrum, BI, Databases<br /> |Current academic institution=Universidad a Distancia de Madrid (UDIMA)<br /> |Current academic level=Bachelor’s Degree<br /> |Current academic degree=Technology Information<br /> |input language=EN (English)<br /> }}<br /> [[Category:Person]]</div>

FerPerGar https://www.glossalab.org/w/index.php?title=User:FerPerGar&diff=27014 2025-11-05T12:02:10Z

<p>FerPerGar: create user page</p> <hr /> <div>{{Person}}[[Category:Person]]</div>

FerPerGar