Entropía

La Entropía

Etimológicamente "entropía" surgió como palabra acuñada del griego, de em (en - en, sobre, cerca de...) y sqopg (tropêe - mudanza, giro, alternativa, cambio, evolución...). El término fue usado primeramente en 1850 por el físico alemán Rudolf Julius Emmanuel Clausius.

La segunda ley fue desarrollada conjuntamente con las máquinas de vapor en 1824, por el físico francés Sadi Carnot. Carnot se dio cuenta que utilizar la energía para realizar un trabajo (mover materia en el espacio) dependía del gradiente de temperatura de la máquina, esto es, de la diferencia entre las partes más calientes y más frías de la misma. Según se realiza el trabajo, la diferencia de temperaturas disminuye. Aunque la energía total permanece constante, termina estando menos disponible para realizar más trabajo.

Así se distinguió entre energía disponible o libre, que puede ser transformada en trabajo y energía no disponible o limitada, que no puede ser transformada en él.

La idea de que la materia-energía de baja entropía es el recurso esencial natural, exige alguna explicación. Esto se puede estipular fácilmente con una breve exposición de las leyes de la termodinámica, según el adecuado símil tomado de Georgescu-Roegen. Considérese un reloj de arena. Es un sistema cerrado en el que no entra ni sale arena.

La cantidad de arena en el reloj es constante; la arena ni se crea ni se destruye en ese reloj. Esta es la analogía de la primera ley de la termodinámica: no hay creación ni destrucción de la materia-energía. Aunque la cantidad de arena en el reloj es constante, su distribución cualitativa está constantemente cambiando: la cavidad inferior se va llenando, mientras la cavidad superior se vacía. Esta es la analogía de la segunda ley de la termodinámica, en la que la entropía (que es la arena de la cavidad inferior) aumenta constantemente.

La arena de la cavidad superior (la baja entropía) es capaz de hacer un trabajo mientras cae, como el agua en la parte superior de una catarata. La arena en la cavidad inferior (alta entropía) ha agotado su capacidad de realizar un trabajo. El reloj de arena no puede darse la vuelta: la energía gastada no puede reciclarse, a menos que se emplee más energía en ese reciclaje que la que será desarrollada por la cantidad reciclada.

El concepto básico de entropía en teoría de la información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de "ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.
Como ejemplo, consideremos algún texto escrito en español, codificado como una cadena de letras, espacios y signos de puntuación (nuestra señal será una cadena de caracteres). Ya que, estadísticamente, algunos caracteres no son muy comunes (por ejemplo, 'y'), mientras otros sí lo son (como la 'a'), la cadena de caracteres no será tan "aleatoria" como podría llegar a ser. Obviamente, no podemos predecir con exactitud cuál será el siguiente carácter en la cadena, y eso la haría aparentemente aleatoria. Pero es la entropía la encargada de medir precisamente esa aleatoriedad, y fue presentada por Shannon en su artículo de 1948 A Mathematical Theory of Communication ("Una teoría matemática de la comunicación", en inglés).
Shannon ofrece una definición de entropía que satisface las siguientes afirmaciones:

La medida de información debe ser proporcional (continua). Es decir, el cambio pequeño en una de las probabilidades de aparición de uno de los elementos de la señal debe cambiar poco la entropía.
Si todos los elementos de la señal son equiprobables a la hora de aparecer, entonces la entropía será máxima.

Ejemplos de máxima entropía : Suponiendo que estamos a la espera de un texto , por ejemplo un cable con un mensaje .En dicho cable solo se reciben las letras en minúscula de la (a hasta la z) , entonces si el mensaje que nos llega es "qalmnbphijcdgketrsfuvxyzwño" el cual posee una longitud de 27 caracteres , se puede decir que este mensaje llega a nosotros con la máxima entropía (o desorden posible) ya que es poco probable que se pueda pronosticar la entrada de caracteres ya que estos no se repiten y además no están ordenados en una forma predecible. La entropía nos indica el límite teórico para la compresión de datos. También es una medida de la información contenida en el mensaje. Su cálculo se realiza mediante la siguiente fórmula:

$\begin{matrix} H(X) = \operatorname{E}( I(X) ) & = & \displaystyle{\sum_{i=1}^np(x_i)\log_2 \left(\frac{1}{p(x_i)} \right)} \\ & = & - \displaystyle{\sum_{i=1}^np(x_i)\log_2 p(x_i)} \qquad \end{matrix}$

Nota: La base del logaritmo dependerá de la variable con la que estemos trabajando, es decir, para una variable binaria usaremos la base 2, para una ternaria la base 3.

Entropía de la información en un ensayo de Bernoulli X (experimento aleatorio en que X puede tomar los valores 0 o 1). La entropía depende de la probabilidad P (X=1) de que X tome el valor 1. Cuando P (X=1)=0.5, todos los resultados posibles son igualmente probables, por lo que el resultado es poco predecible y la entropía es máxima.

Propiedades de la entropía

$0 < = H < = L o g m$ Es decir, la entropía H esta acotada superiormente (cuando es máxima) y no supone perdida de información.
Dado un procesos con posibles resultados {A₁,..,A_n} con probabilidades relativas p₁, ...,p_n, la función $H(p_1,\dots, p_n)\,$ es máxima en el caso de que $p_1 = \dots = p_n = 1/n\,$
Dado un procesos con posibles resultados {A₁,..,A_n} con probabilidades relativas p₁, ...,p_n, la función $H(p_1,\dots, p_n)\,$ es nula en el caso de que $p i = 0$ para cualquier i.