Shannon, Claude Elwood

Colección
glossariumBITri
Curador
José María Díaz Nafría
Autor(es)
Jérôme Segal, (trad. José María Díaz Nafría)
Fecha de publicación
2010
Identificador
1: 76
Tipo de artículo
autor

Jérôme Segal, (trad. José María Díaz Nafría) (2010). Shannon, Claude Elwood. glossariumBITri, 1: 76.

Claude Elwood Shannon (n. Petoskey, Michigan, 30 abril 1916, m. Medford, Massachusetts, 24 febrero 2001) es ante todo conocido como pionero de la era de la información a raíz de haber demostrado en su artículo germinal “A Mathematical Theory of Communication” (1948) [“una teoría matemática de la comunicación”] que la información podía definirse y medirse como noción científica. El artículo hizo nacer la “teoría de la información” que abarca, por un lado, aplicaciones metafóricas en muy diferentes disciplinas que van desde la biología a la lingüística, pasando por la termodinámica o la física cuántica, y por otro, una disciplina técnica de esencia matemática, basada en conceptos cruciales como el de capacidad de canal. Shannon no demostró en ningún momento especial entusiasmo por el primer tipo de aplicaciones informacionales, centrando su interés en los aspectos técnicos y haciendo también contribuciones significativas a otros campos como la criptografía, la inteligencia artificial y campos en los que sus ideas estaban enraizadas y que pudieron aplicarse fácil y rigurosamente, como fueron la telecomunicación y la teoría de códigos.

Años formativos

Claude Elwood Shannon era hijo de Claude Shannon Sr. (1862-1934), un hombre de negocios que además fue juez de testamentarías (judge of probate), y Mabel Wolf Shannon (1880-1945), directora de un centro de secundaria. Hasta los 16 años vivió en Gaylord, Michigan, donde trabajaba su madre. Su juventud tendría una influencia decisiva en su vida científica: su abuelo trabajaba como reparador, poseía una patente de una máquina de lavar, e ideo varios objetos –a veces carentes de sentido-. A la edad de su graduación en secundaria, el joven Shannon ya había construido un barco teledirigido y un sistema telegráfico para comunicarse con un amigo a aproximadamente una milla de distancia usando alambres de espinos. Conseguía algo de dinero de bolsillo arreglando diversos aparatos eléctricos, tales como radios y admiraba a Edison, con quién más tarde descubrió compartir un ancestro en común.

Shannon dejó Gaylord en 1932 para acudir a la Universidad de Michigan, donde estudió ingeniería eléctrica y matemáticas, licenciándose (B.Sc.) en ambos campos en 1936. Entonces encontró una manera de combinar sus capacidades de reparar con su conocimiento en ingeniaría eléctrica trabajando en el departamento de Ingeniaría Eléctrica en el M.I.T. en el mantenimiento de un analizador diferencial que había construido Vannemar Bush (1880-1874). Bush se convertiría en su mentor durante las siguientes décadas. Sería en el departamento de Bush donde Shannon escribió su tesis de Maestría bajo el título “Symbolic Analysis of Relay and Switching Circuits” [“análisis simbólico de relés y circuitos de conmutación”], que presentó el 10 de agosto de 1937. En una entrevista realizada en 1987, Shannon recordó al respecto:

“La máquina principal era mecánica conteniendo discos giratorios e integradores, y dispuesto de un complejo sistema de control con relés. La parte de relés me interesó. Había aprendido lógica simbólica en un curso en Michigan y me di cuenta de que el álgebra booleana era justo lo que hacía falta para ocuparse de los circuitos de relés y de conmutación. Me dirigí a la biblioteca y me hice con todos los libros que pude sobre lógica simbólica y álgebra booleana, empezando la interconexión entre ambos y escribí mi tesis de maestría sobre esto. ¡Ese fue el principio de mi gran carrera!” (Sloane y Wyner 1993, p. xxv)

La ocurrencia fue decisiva: constituyó “un hito en lo que ayudaría a transformar el diseño de circuitos de un arte a una ciencia” (Goldstine 1972, p. 119). Su estudio trataba circuitos basados en relés y unidades de conmutación, tales como sistemas de conmutación telefónica automática o equipos de motores industriales. Desarrolló un método riguroso tanto para el análisis como para la síntesis de circuitos, demostrando como podían simplificarse. En este tiempo probablemente tuvo sus primeras intuiciones sobre las relaciones entre la redundancia y la eficiencia, en los que más tarde profundizaría. El que su posición fuera teórica y práctica se hace patente al final de su tesis de maestría en la que ilustra su planteamiento con 5 circuitos: un circuito selector, un cierre de seguridad con combinación electrónica, un sumador en base dos y una máquina de tablas factoriales.

Este planteamiento dual fue así mismo manifestado en una significativa carta que Shannon envió a Bush en febrero de 1936. Escribió que “de vez e cuando había estado trabajando en el análisis de algunas propiedades fundamentales de sistemas generales para la transmisión de inteligencia, incluida la telefonía, la radio, televisión, telegrafía, etc.” Haciendo constar que “pácticamente todos los sistemas de comunicación podían acomodarse a la siguiente forma: $f_{1}(t)\rightarrow {\begin{bmatrix}T\end{bmatrix}}\rightarrow F(t)\rightarrow {\begin{bmatrix}R\end{bmatrix}}\rightarrow f_{2}(t)$ , donde $f_{1}(t)$ es una función genérica del tiempo (arbitraria excepto en lo que atañe a cierta limitaciones frecuenciales) representando la inteligencia a transmitir. Representa, por ejemplo, la función presión-tiempo en radio o teléfono, o la curva voltaje-tiempo a la salida del iconoscopio en televisión.”

A Shannon le fue otorgado en 1940 el premio Alfred Noble de la Sociedad Americana de Ingeniería civil por su tesis de maestría. Continuó su trabajo en el uso del álgebra para profundizar analogías y comenzó sus estudios de doctorado en matemáticas con el mismo supervisor, el algebrista Frank L. Hitchcock. El tema, sin embargo, procedía de Bush que sugirió a Shannon la aplicación del álgebra booleana a la genética como lo había hecho a los circuitos. El resultado de esta investigación fue presentado en la primavera de 1940 en su tesis “Un algebra para la genética teórica”. Mientras tanto Shannon había publicado también su “Mathematical Theory of the Differential Analyzer” [“Teoría matemática del analizador diferencial” (1941) y en el verano de 1940 había empezado a trabajar en los Laboratorios Bell, donde aplicaría las teorías contenidas en su tesis de maestría. Durante algunos meses estuvo también trabajando bajo la supervisión de Hermann Weyl en el Instituto de Estudios Avanzados de Princeton gracias a una beca nacional de investigación, para después volver a los Laboratorios Bell, donde trabajaría de 1941 a 1956.

El impacto de la 2ª Guerra Mundial

Cualquier científico que trabajara en instituciones públicas, empresas privadas o universidades fue rápida y progresivamente movilizado en el esfuerzo bélico. De 1940 en adelante se fundaron organizaciones interdisciplinares: primero el Comité de Investigación para la Defensa Nacional (Nacional Defense Research Comité, NDRC, junio de 1949), bajo la supervisión de Vannevar Bush, y más tarde la Oficina de Investigación Científica y Desarrollo (Office of Scientific Research and Development, mayo de 1941), que incluía NDRC e investigación médica. Shannon quedaría pronto involucrado en esta investigación bélica, principalmente mediando dos proyectos.

El primer proyecto estaba orientado hacia la artillería antiaérea, tan importante para la defensa de Gran Bretaña bajo las bombas V1 y los cohetes V2 y en general para la defensa antiaérea. Puesto que los aviones de la Segunda Guerra Mundial volaban el doble de alto y el doble de rápido que los de la Primera Guerra Mundial, los parámetros de control de disparo debían determinarse automáticamente a partir de los datos del radar. Shannon fue contratado por Warren Weaver, en aquel entonces también director de la División de Ciencias Naturales de la Fundación Rockefeller. Trabajó con Richard B. Blackman y Hendrik Bode, también de los Laboratorios Bell. Su informe “Data Smoothing and Prediction in Fire-Control Systems” [“Suavizado de datos y predicción en sistemas de control de fuego”] apuntaba en la dirección del procesado general de señal. El control de fuego era visto como un caso especial de “transmisión, manipulación y utilización de inteligencia.” Establecieron que se daba “una analogía obvia entre el problema de suavizado de datos para eliminar o reducir el efecto de los errores de seguimiento y el problema de separa una señal del ruido interferente en sistemas de comunicación” (Mindel, Gerovitch y Segal 2003, p. 73).

El segundo proyecto fue en el campo de la criptografia. En el estallido de la guerra, las comunicaciones podían interceptarse fácilmente. El principal medio de comunicación trasatlántico para mensajes confidenciales fue el sistema telefónico A3 desarollado en los laboratorios Bell, que simplemente invertía partes del ancho de banda y que era fácilmente descifrado por los alemanes. Shannon trabajó en el sistema X, que resolvía este problema, encontrándose durante este periodo con el matemático británico Alan Turing. Éste había llegado a los Laboratorios Bell para coordinar la investigación británica y norteamericana en interferencia, sin embargo, la regla imperante de “need-to-know” (necesidad para saber) impidió que se involucraran e un verdadero intercambio en estas cuestiones. La quintaesencia de la contribución de Shannon a la criptografía bélica puede encontrarse en el informe de 1945 (desclasificado en 1957) titulado “A Mathematical Theory of Criptography” (Una teoría matemática de la criptografía), que bosquejaba una primera teoría dependiente de la teoría algebraica y de la probabilística. Shannon explicaba que estaba interesado en la información discreta consistente en secuencias de símbolos discretos elegidos dentro de un conjunto finito. Aportaba definiciones de redundancia y equivocidad, y también de “información.” Procurando cuantificar la incertidumbre relativa a la realización de un suceso elegido entre $n$ sucesos para los que se conoce su probabilidad de ocurrencia $p_{i}$ , proponía la formula:

H=\sum _{i=1...n}-p_{i}\log _{2}(p_{i})

donde $H$ era inicialmente una mera medida de la incertidumbre. Entonces probaba que dicha fórmula verificaba once propiedades tales como aditividad (la información procedente de dos selecciones de un resultado es igual a la suma de la información aportada por cada suceso) o el hecho de que $H$ tiene valor máximo cuando todos los sucesos tienen la misma probabilidad (que corresponde con el peor caso para el descifrado). Para la elección de la letra $H$ , obviamente referido al Teorema-H de Boltzman, explicó que “la mayor parte de las definiciones de entropía contenían términos de este tipo” (Sloane y Wyner 1993, pp. 84-142). De acuerdo con algunos autores, debe haber sido John von Neuman quien ofreció a Shannon el siguiente consejo:

“Debes llamarlo entropía por dos razones. En primer lugar tu función de incertidumbre ha sido usada en mecánica estadística bajo ese nombre, por tanto, ya tiene un nombre. En segundo lugar, y más importante, nadie sabe realmente qué es la entropía, por tanto, en un debate siempre tendrás esa ventaja." (Tribus 1971, p. 179)

De la criptografía a la teoría de la comunicación

En su memorando de 1945, Shannon también desarrolló un esquema para una comunicación segura. La fuente de la clave se representaba como un elemento perturbador conceptualizado como un “ruido,” similar al mensaje, pero a parte de esto, el esquema era similar al descrito en la 1939 en su carta a Bush. Shannon mantenía este objetivo en mente, incluso cuando trabajaba en criptología. En 1985, Shannon declaró a Price “mi primera propuesta era teoría de la información y use criptografía como manera de legitimar el trabajo… En criptografía podías publicar cualquier cosa en cualquier forma, y así lo hice” (Price, 1985, p. 165).

Basandose en su experincia en los Laboratorios Bell, donde se había familiarizado con el trabajo de otros ingenieros de telecomunicación tales como Harry Nyquist y Radolph Hartley, Shannon publicó en dos números del Bell System Technical Journal su artículo “A Mathematical Theory of Communicacition” (Una teoría matemática de la comunicación, TMC). El enfoque general era pragmático; quería estudiar “los ahorros debidos a la estructura estadística del mensaje original” (1948, p. 379), y para ese propósito, tenía que olvidar los aspectos semánticos de la información, como hizo Hartley respecto a la “inteligencia” veinte años anes (Hartley 1928, p.1). Para Shannon el proceso de comunicación era estocástico por naturaleza, y el gran impacto de su obra, que da cuenta de aplicaciones en otros campos, fue debido al esquema general de sistema de comunicación que proponía. Una “fuente de información” entrega un “mensaje”, que es codificado por un “transmisor” en una “señal” transmitida. La señal recibida es la suma de señal transmitida y un inevitable “ruido.” Se recupera como mensaje decodificado, que se entrega al “destino”. Su teoría mostraba que haciendo una buena elección de transmisor y receptor se hace posible enviar mensajes con una exactitud y confianza arbitrariamente elevadas, siempre y cuando el ritmo de transmisión de información no excede un límite fundamental, denominado “capacidad de canal”. Sin embargo, la prueba de este resultado era no constructiva, dejando abierto el problema de diseñar medios de codificación y decodificación capaces de aproximarse a este límite (Teoremas fundamentales de Shannon).

El artículo fue presentado como un conjunto de veintitrés teoremas en su mayoría rigurosamente demostrados (aunque no siempre, de ahí la obra de A. I. Khinchin y más tarde de N. Kolmogorov, quienes fundaron una nueva teoría probabilística sobre el concepto de información). El artículo de Shannon se dividía en cuatro partes, distinguiendo entre fuentes discretas y continuas de información y la presencia o ausencia de ruido. En el caso más sencillo (fuentes discretas sin ruido), Shannon presentaba la formula H que ya había definido en su teoría matemática de la criptografía, que de hecho puede ser reducida a un promedio logarítmico. Definía el bit, contracción de “binary digit” (bajo sugerencia de John W. Turkey, su colega de los Laboratorios Bell) como la unidad de información. Conceptos, como “redundancia,” “equivocidad,” o “capacidad” de canal, que existían como nociones comunes, fueron definidos como conceptos científicos. Shannon estableció un teorema fundamental de codificación de fuente, mostrando que la longitud promedio de un mensaje tiene un límite mínimo proporcional a la entropía de la fuente. Al introducir ruido, el teorema de codificación de canal establece que cuando la entropía de la fuente es menor que la capacidad de canal, existe un código que permitiría transmitir un mensaje “de modo que la salida de la fuente puede transmitirse a través del canal con una frecuencia de errores arbitrariamente baja.” Esta parte programática de la obra de Shannon explica el éxito e impacto que tuvo en ingeniería de telecomunicaciones. Los códigos turbo (códigos de corrección de errores) lograban una baja probabilidad de error a ritmos de información próximos a la capacidad de canal, con una complejidad de realización razonable, así pues, mostrando por primera vez evidencia experimental del teorema de capacidad de Shannon (Berrou y Glavieux 1996).

Otro resultado importante de la TMC era, para el caso de fuentes continuas, la definición de la capacidad de un canal de banda $W$ perturbado con ruido térmico blanco de potencia $N$ cuando la potencia promedio de transmisión está limitada a $P$ , que venía dada por:

C=W\log _{2}\left[(P+N)/N\right]

que es la fórmula reproducida en la lápida de Shannon. El artículo de 1948 se hizo rápidamente famoso; fue publicado un año más tarde como libro, con un epílogo de Warren Waever relativo a los aspectos semánticos de la información.

Entropía e información

Hubo dos lecturas diferentes de este libro. Algunos ingenieros se mostraron interesados por el valor programático de los escritos de Shannon, principalmente para el desarrollo de nuevas técnicas de codificación, mientras que otros científicos usaron la TMC por dos razones: por una parte como modelo general de comunicación; y por otra, como definición matemática de información, llamada “entropía” por Shannon. Estas ideas se fundieron con otros resultados teóricos que aparecieron durante el esfuerzo bélico, esto es la idea de una teoría general para el “control y comunicación en animales y maquinas” que es el subtítulo de Cybernetics, un libro que Norbert Wiener publicó en 1948. Shannon, von Neumann, Wiener y otros fueron más tarde denominados cibernéticos (“cyberneticians”) durante los encuentros patrocinados por la fundación Macy, que se celebraron entre 1946 y 1953. El libro de Shannon y Weaver, junto con la obra de Wiener dio a luz la denominada “teoría de la información”.

Rápidamente se establecieron conexiones entre la teoría de la información y varios campos, por ejemplo en lingüística, donde las influencias fueron en ambas direcciones. Con objeto de poder considerar “lenguas escritas naturales tales como inglés, alemán, chino” como procesos estocásticos definidos por un conjunto de probabilidades de selección, Shannon confiaba en el trabajo de lingüistas, quienes, a su vez, estaban vívidamente interesados en el cálculo de la entropía de un lenguaje para alcanzar una mejor comprensión de conceptos como el de redundancia (Shannon 1951). Roman Jackobs figuró entre los lingüistas más entusiastas; participó en una de las conferencias Macy en marzo de 1948. Muy al principio de la década de 1950, en la mayoría de las disciplinas, se presentaron nuevas obras en calidad de “aplicaciones” de la teoría de la información, incluso cuando a veces la aplicación solo consistiera en la aplicación del promedio logarítmico. Intentando entender las conexiones entre la estructura molecular y la información genética —un par de meses después del descubrimiento de la doble hélice como estructura del ADN— Herman Branson calculaba, en un simposio titulado “The use of Information Theory in Biology” (uso de la teoría de información en biología), la cantidad de información (H) contenida en un humano. Aportaba la expresión “H(alimentación y circunstancia) = H(función biológica) + H(mantenimiento y reparación) + H(crecimiento , diferenciación, memoria)” (Quastler 1953, p. 39). Henry Quastler llegó a la conclusión, como hizo Dancoff, de que H(hombre) era aproximadamente 2 x 10²⁸ bits.

Poniendo en cuestión estas diferentes clases de aplicaciones, Shannon escribió en 1956 una famosa editorial, publicada en las Transactions of the Institute of Radio Engineers, bajo el epígrafe “The bandwagon.”, en alusión a la pretensión de “subirse al carro” de su exitosa teoría, pero cuya extensión a otros ámbitos distintos al inicialmente previsto corría riesgos de ser inapropiada). Refiriéndose a su artículo de 1948, decía: “Empezando como herramienta técnica para el ingeniero de comunicación, ha recibido una extraordinaria cantidad de publicidad tanto popular como científica. En parte, esto ha sido debido a conexiones con campos de moda como las máquinas computaciones, la cibernética y automática; y en parte a la novedad de su materia de objeto. Como consecuencia, tal vez se haya inflado su importancia por encima de su auténtico merecido.” En ese tiempo, algunas aplicaciones de la teoría de la información ya reflejaban una tendencia, esencialmente basada en una definición de información más bien inconsistente que científica. Cuarenta años después, el proyecto de las “autopistas de la información,” presentadas para promover Internet, confiaban parcialmente en la misma idea.

Shannon como pionero en inteligencia artificial

Cuando Shannon publicaba su editorial relativamente pesimista, ya estaba involucrado en otra investigación, típicamente relacionada con su habilidad de combinar teorías matemáticas, ingeniería eléctrica y de reparación, esto es, la inteligencia artificial. Shannon fue coautor del “Proposal for the Dartmounth Summer Research Project on Artificial Intelligence” (Propuesta para el proyecto de investigación Dartmounth Summer en inteligencia artificial) de 1955, que supuso el nacimiento del término “inteligencia artificial”. Junto a Nathaniel Rochester, John McCarthy y Marvin L. Minsky obtuvo apoyo de la Fundación Rockefeller para “proceder sobre la base de la conjetura de que todo aspecto del aprendizaje o cualquier otra característica de la inteligencia puede en principio ser descrito con tanta precisión que una máquina pueda simularlo.” Al explicar su propio objetivo Shannon mencionó dos asuntos.

El primer asunto, presentado como una aplicación de la teoría de la información, se basaba en una analogía: de la misma manera que la teoría de la información estaba implicada en la transmisión fiable de información sobre un canal ruidoso, deseaba aquí abordar la estructura de las máquinas de computación en la que se supone que una computación fiable puede lograrse mediante algunos elementos no fiables; problema al que John von Neuman consagró considerable atención. A partir de este paralelismo, nociones tales como redundancia y capacidad de canal iban a ser usadas para mejorar la arquitectura de las máquinas de computación.

**Figura 1**: Claude Shannon con un ratón mecánico, dotado de "super" memoria y con posibilidad de aprender el camino a través del laberinto sin errores después de una única vuelta de entrenamiento (Fuente: Hulton Archive/Getty Images).

El segundo asunto se relacionaba con la manera en la que un “modelo de cerebro” puede adaptarse a su entorno. Esto no tenía una relación directa con la teoría de la información, sino que estaba más bien relacionado con el trabajo que Shannon presentó durante el 8º Encuentro Macy, en marzo de 1951, donde se junto con otros cibernéticos. Shannon mostró un ratón electromecánico que denominó Teseo, que sería “instruido” para encontrar su camino en un laberinto. En la propuesta de Dartmouth, Shannon puso énfasis en “clarificar el modelo circunstancial y representarlo como una estructura matemática.” Ya había observado que “al discutir inteligencia mecanizada, pensamos en máquina realizando las actividades de pensamiento humano más avanzadas —aportando teorema, escribiendo música, o jugando ajedrez.” Postuló una aproximación abajo-arriba en la “dirección de estas actividades avanzadas,” empezando con modelos simples, como había hecho en su artículo de 1950 titulado “Programming a Computer for Playing Chess” (Programando un ordenador para jugar al ajedrez). En este primer artículo publicado sobre ajedrez computacional, Shannon ofrecía los elementos claves para escribir un “programa,” tal como una “función de evaluación” o un “procedimiento mini-max.”

Un legado complejo

Las contribuciones de Shannon a la inteligencia artificial han sido frecuentemente olvidadas debido a su enorme aura. Es tan ampliamente conocido por su trabajo en teoría de la información que su crédito en IA ha sido comúnmente ignorado. La mayor parte de las historias de la IA ni tan siquiera mencionan su presencia en el Encuentro de Teoría de la Información en Dartmouth. Ninguno de los trabajos que escribió después de la década de 1950 recibió tal reconocimiento. En 1956 dejó los Laboratorios Bell por el Massachussets Institute of Technology (MIT), primero como profesor invitado; fue un miembro permanente del Laboratorio de Investigación en Electrónica en el MIT durante 20 años, desde 1959, después de disfrutar una beca en el Centro de Estudios Avanzados en Ciencias del Comportamiento en Palo Alto.

La mayor parte de su trabajo científico estuvo consagrada a la promoción y la profundización de la teoría de la información. Shannon fue invitado a muchos países, incluida la Unión Soviética. Estando allí para dar una conferencia en un congreso de ingeniería tuvo la oportunidad de jugar al ajedrez con Mikhail Botvinik. Abordó el caso de la transmisión a través de canales sin memoria (un canal ruidoso en el que el ruido actúa independientemente sobre cada símbolo transmitido). Fue sobre este tema sobre el que publicó su último artículo en teoría de la información, ¡ya en 1967!, con Robert G. Galler y Edwin R. Berlekamp.

A finales de la década de 1960 y en la de 1970, Shannon empezó a interesarse en gestión de cartera y, en general, en teoría de inversión. Uno de sus colegas en los Laboratorios Bell, John L. Nelly, mostró en 1957 como la teoría de la información podía aplicarse a los juegos de azar. Junto a Ed Thorp, Shannon fue a las Vegas para poner a prueba sus ideas. En 1966 también inventó el primer ordenador portátil en el MIT capaz de predecir una ruleta.

Shannon nunca abandonó la construcción de máquinas excéntricas, como el THROBAC (THrifty ROman-numeral BAckward-looking Computer [Ordenador retrógado de números romanos económico]) construido en los años 1950, el Frisbee impulsado por cohete, o un dispositivo que permitía resolver el puzzle-cubo de Rubik. Ideó muchos autómatas, guardando muchos en su casa: entre ellos un pequeño escenario sobre el que tres payasos hacían malabares con once anillos, siete bolas y cinco mazos, todos impulsados por un mecanismo de relojería y varillas. Los malabares constituían una de sus pasiones, que también incluían jugar ajedrez, montar en monocliclo y tocar el clarinete. A principios de la década de 1980 empezó la escritura de un artículo para Scientific American titulado “Scientific Aspects of Juggling” (Aspectos científicos del malabarismo) que nunca acabó (Sloane y Wyner 1993, pp. 850-864).

En los albores del siglo XXI las contribuciones de Shannon son múltiples. Mientras hay aplicaciones que solo consisten en la aplicación de la media logarítmica o el esquema de sistema general de comunicación (aplicaciones que censuraba en su editorial de 1956 “The bandwagon”, en alusión a la pretensión de “subirse al carro” de su exitosa teoría, pero cuya extensión a otros ámbitos distintos al inicialmente previsto corría riesgos de ser inapropiada), también hay un gran número de nuevos campos que no podrían definirse sin referencia a su obra. En el campo tecnológico, teorías de código que se aplican a los discos compactos a la comunicación en el espacio profundo son meros desarrollos de la teoría de la información. En matemáticas, partes enteras de la teoría de complejidad algorítmica pueden contemplarse como resultantes de los desarrollos de la teoría shannoniana. En biología, el uso multiforme de la expresión “información genética” explica el desarrollo de la biología molecular (Fox Keller, Kay y jockey). Desde la década de 1990 en adelante, en física, el dominio de la “información cuántica” despegó en torno a la definición de qubits, que extiende el bit inicialmente usado por Shannon para medir la información. Shannon desafortunadamente no pudo tomar parte en estos desarrollos tampoco tenerlos en cuenta; desde mediados de los 1990 lucho contra la enfermedad de Alzheimer, a la que sucumbiría en febrero de 2001.

Referencias

Una bibliografía exhaustiva puede encontrarse en:

SLOANE, Neil J. A. and WYNER, Aaron D. eds., Claude Elwood Shannon: Collected Papers, Piscataway, NJ: IEEE Press, 1993.

Esta colección de artículos incluye la tesis de maestría (http://libraries.mit.edu/), la carta a Vannevar Bush de febrero de 1939, y la tesis de doctorado (http://libraries.mit.edu/). Los trabajos de maestría y doctorado también están disponibles en el repositorio institucional del MIT:

La carta de 1939 primero fue reproducida en la tesis de doctorado de Hagmeyer (ver abajo). Los archivos de Shannon se encuentran en los Bell Laboratories Archives y en los Nacional Archives en Washington, DC.

Obras de Shannon

(1948) “A Mathematical Theory of Communication.” Bell System Technical Journal 27: 379–423, 623–656.
(1949). “Communication in the Presence of Noise.” Proceedings of the Institute of Radio Engineers 37: 10–21.
(1949) “Communication Theory of Secrecy Systems.” Bell System Technical Journal 28: 656–715.
(1949) With Warren WEAVER. The Mathematical Theory of Communication. Urbana: University of Illinois Press.
(1950). “Programming a Computer for Playing Chess.” Philosophical Magazine 41: 256–275.
(1951) “Prediction and Entropy in Printed English.” Bell System Technical Journal 30: 50–64.
(1956). “The Bandwagon.” IRE Transactions on Information Theory 2: 3.
(1967). Con Robert G. GALLAGER y Elwyn R. BERLEKAMP. “Lower Bounds to Error Probability for Coding on Discrete Memorylless Channels.” Information and Control 10: 65-103.

Otras fuentes

BERROU, Claude, and Alain GLAVIEUX (1996). “Near Optimum Error Correcting Coding and Decoding: Turbo-Codes.” IEEE Transactions on Communications 44: 1261–1271.
FOERSTER, Heinz von (1952). Cybernetics, Circular Causal and Feedback Mechanisms in Biological and Social Systems. New York: Macy Foundation.
FOX KELLER, Evelyn (2000). The Century of the Gene. Cambridge, MA: Harvard University Press.
GOLDSTINE, Herman H. (1972). The Computer from Pascal to von Neumann. Princeton, NJ: Princeton University Press.
HAGEMEYER, Friedrich W. (1979). Die Entstehung von Informationskonzepten in der Nachrichtentechnik. Doktorarbeit an der Freie Universität Berlin (PhD), FB 11 Philosophie und Sozialwissenschaften.
HARTLEY, Ralph V. L. (1928). “Transmission of Information.” Bell System Technical Journal 7: 535–563.
HODGES, Andrew. (1983). Alan Turing: The Enigma. London: Burnett Books.
HORGAN, John (1990). “Claude E. Shannon: Unicyclist, Juggler and Father of Information Theory.” Scientific American 242: 20–22B.
KAY, Lily E. (2000). Who Wrote the Book of Life? A History of the Genetic Code. Chicago: University of Chicago Press.
KELLY, John L. (1956). “A New Interpretation of the Information Rate.” Bell System Technical Journal 35: 917–925.
MINDELL, D., S. GEROVITCH, and J. Segal (2003). “From Communications Engineering to Communications Science: Cybernetics and Information Theory in the United States, France, and the Soviet Union.” In Science and Ideology: A Comparative History, edited by Mark Walker, pp. 66–96. London: Routledge.
PIAS, Claus (2003 and 2004). Cybernetics/Kybernetik. The Macy-Conferences, 1946–1953. Transactions/Protokolle. 2 vol. Fernwald, Germany: Diaphanes.
PRICE, Robert (1985). “A Conversation with Claude Shannon: One Man’s Approach to Problem Solving.” Cryptologia 9: 167–175.
QUASTLER, Henry, ed. (1953). Essays on the Use of Information Theory in Biology. Urbana: University of Illinois Press.
SEGAL, Jérôme (2003). Le Zéro et le un: Histoire de la notion scientifique d’information. Paris: Syllepse.
TRIBUS, Myron, and E. C. McIrvine (1971). “Energy and Information.” Scientific American 224: 178–184.
VERDU, Sergio (1998). “Fifty Years of Shannon Theory.” IEEE Transactions on Information Theory 44: 2057–2078.
WIENER, Norbert (1948). Cybernetics, or Control and Communication in the Animal and the Machine. Paris, France: Hermann et Cie.
YOCKEY, Hubert P. (1992). Information Theory and Molecular Biology. Cambridge, U.K.: Cambridge University Press.
YOCKEY, Hubert P. (2005). Information Theory, Evolution, and the Origin of Life. Cambridge, U.K.: Cambridge University Press.