Teoría de la Información: Conceptos Clave y Aplicaciones

Teoría de la Información: Conceptos Clave y Aplicaciones

Fundamentos de la Teoría de la Información

La teoría de la información estudia las leyes generales y lógicas de las que depende la posibilidad de comunicación y la eficacia de esta. Hace abstracción del contenido del intercambio comunicativo. Al margen de qué se comunica, hay límites objetivos a la cantidad de información. Hay reglas objetivas para conseguir que las señales sean aptas para transmitir mensajes. Sus enunciadores fueron Shannon y Weaver. La pregunta que se plantean los investigadores es cómo el mensaje llega al destinatario sin perder información, cómo llega del emisor al receptor a través de un canal por medio del mínimo número de señales posibles sin que haya intercepciones.

Señales y sus Requisitos

Las señales son alteraciones energéticas permanentes físicas que se transmiten en el espacio y/o tiempo y que son susceptibles de ser captadas por un receptor. Estas señales deben tener varios requisitos:

• Deben ser tanto emitidas como recibidas.
• Deben pertenecer a un repertorio conocido de señales.
• Deben estar sometidas a un orden.

Información y Probabilidad

La información es cantidad sumada, es lo que se añade a lo que sé, no lo que sé.

Dado el flujo de energía, se crea un código de señales posible. De este modo, se comprueba que a medida que en un mensaje aparecen señales, para que haya novedad, la posibilidad de que las señales se repitan es cada vez menor. A medida que se emiten señales, la probabilidad de que señales no emitidas salgan es cada vez mayor. Vamos a introducir un elemento más: en torno al repertorio de señales que manejamos, teóricamente todas las señales tienen las mismas posibilidades de ser emitidas; pero realmente una señal no tiene los mismos grados de libertad para colocarse en un mensaje. El repertorio está codificado y un código necesita un orden, por lo que implica restricciones.

Entropía: Medida del Desorden

Aunque últimamente se utiliza este término como sinónimo de desorden, lo cierto es que su significado no es este. Concretamente, la entropía es la medida del desorden, no el desorden. En relación con las leyes de la termodinámica, nos sirve para mostrar que muchos procesos naturales no son reversibles; nos planteamos que la naturaleza tiene más preferencia por unos estados que por otros y debemos encontrar una magnitud física que nos permita cuantificar la preferencia de la naturaleza por un determinado estado. La magnitud crece en todos los procesos irreversibles: la entropía es mayor en los procesos irreversibles. El aumento de la entropía de un sistema se interpreta como el paso de la forma menos probable a la más probable. Existe más posibilidad de desorden que de orden y, en ocasiones, debemos ser nosotros quienes introduzcamos el orden.

Por tanto, la entropía es la medida del grado de libertad de los elementos de un conjunto y, también, la medida de la improbabilidad del sistema: cuanto más desordenado, más predecible.

Ordenación y Selección de Mensajes

Pero maticemos. Estamos pensando en la fuente de las señales, pero ahora pensemos en los mensajes que construimos a partir de los mensajes de esa fuente, encontrándonos con una ordenación y selección de los objetos del mensaje. Para Wiener, el contenido informativo de un mensaje viene dado por su grado de organización, escapando del desorden elemental al que tiende la naturaleza.

Problemas Concretos de la Teoría de la Información

Entre los problemas concretos que interesan a esta Teoría de la Información, podemos citar:

• Determinar la cantidad de información que puede contener un flujo de mensajes.
• Calcular la previsibilidad de las señales transportadas.
• Buscar una red de comunicación por la que se pueda circular la mayor cantidad de información posible.
• Determinar las formas de codificar del lenguaje que se vaya a utilizar, las leyes de orden de la combinación de señales para que de la forma más simple se pueda emitir el mayor número de señales posibles.
• Determinar los efectos del ruido sobre la correcta descodificación del mensaje.

En resumen, la información se entiende como medida de la libertad de elección para la generación de mensajes.