Teoría de la información: entropía, unidades y transmisión de datos

Fundamentos de la información

La información está constituida por un grupo de datos ya supervisados y ordenados, que sirven para construir un mensaje. La información permite resolver problemas y tomar decisiones, ya que su aprovechamiento racional es la base del conocimiento. Cada mensaje podrá tener asociada una probabilidad de ocurrencia.

Unidad y medida de la información

La cantidad de unidades de información que un usuario recibe cuando se le entrega un mensaje se define como el logaritmo de la inversa de la probabilidad de ocurrencia del suceso contenido en él. La unidad de información es el shannon (1 shannon). Equivalencias comunes:

• 1 hartley = 3,32 shannon
• 1 nat = 1,44 shannon
• 1 hartley = 2,30 nat

Entropía en la teoría de la información

En la teoría de la información, la entropía es la medida de la incertidumbre que existe ante un conjunto de mensajes (de los cuales sólo se recibirá uno). Se trata de una medida de la información necesaria para reducir o eliminar la incertidumbre.

Propiedades de la entropía

1. La entropía es no negativa. Esto es evidente ya que al ser una probabilidad entonces . Por tanto podemos decir que y por tanto .
2. La entropía está acotada superiormente. Es decir, . Cuando la entropía alcanza su valor máximo no supone pérdida de información; refleja la máxima incertidumbre posible.
3. La entropía es máxima cuando las probabilidades son iguales. Dado un proceso con posibles resultados {A₁, ..., A_n} con probabilidades relativas p₁, ..., p_n, la función es máxima en el caso de que . El resultado es intuitivo: tenemos la mayor incertidumbre del mensaje cuando los valores posibles de la variable son equiprobables.
4. La entropía es nula cuando la incertidumbre es cero. Dado un proceso con posibles resultados {A₁, ..., A_n} con probabilidades relativas p₁, ..., p_n, la función es nula en el caso de que para todo i, excepto para una clase tal que: . De forma intuitiva, cuando uno o más estados tienen una probabilidad alta, disminuye significativamente la entropía porque existe menor incertidumbre sobre el mensaje que se recibirá.

Tasa de información

Si la tasa de información es mayor que la capacidad del canal, no es posible transmitir sin errores. La tasa representa la cantidad de información producida por una fuente en un determinado momento.

Transmisión de datos

Transmisión: método mediante el cual se logra conectar dos fuentes de información, entablar la comunicación y permitir el traspaso de datos de una fuente a otra o el intercambio entre ambas.

Transmisión analógica

La transmisión analógica de datos consiste en el envío de información en forma de ondas, a través de un medio de transmisión físico.

Transmisión digital

La transmisión digital consiste en el envío de información a través de medios de comunicaciones físicos en forma de señales digitales.