DEFINICIÓN DE ENTROPÍA
La entropía también se puede considerar como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; por ejemplo, si se considera como sistema de símbolos a las palabras en un texto, palabras frecuentes como "que", "el", "a" aportan poca información, mientras que palabras menos frecuentes como "corren", "niño", "perro" aportan más información. Si de un texto dado borramos un "que", seguramente no afectará a la comprensión y se sobreentenderá, no siendo así si borramos la palabra "niño" del mismo texto original. Cuando todos los símbolos son igualmente probables (distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima.
El concepto entropía es usado en termodinámica, mecánica estadística y teoría de la información. En todos los casos la entropía se concibe como una "medida del desorden" o la "peculiaridad de ciertas combinaciones". La entropía puede ser considerada como una medida de la incertidumbre y de la información necesarias para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resulta que el concepto de información y el de entropía están básicamente relacionados entre sí, aunque se necesitaron años de desarrollo de la mecánica estadística y de la teoría de la información antes de que esto fuera percibido.Fuente: https://es.wikipedia.org/wiki/Entropía_(información)
El concepto de “entropía” es equivalente al de “desorden”. Así, cuando decimos que aumentó la entropía en un sistema, significa que creció el desorden en ese sistema. Y a la inversa: si en un sistema disminuyó la entropía, significa que disminuyó su desorden.
La palabra entropía procede del griego (ἐντροπία) y significa “evolución o transformación”. La formulación matemática de la variación de entropía de un sistema, luego de una transformación o evolución entre los estados inicial y final del mismo, se corresponde con la integral definida entre el instante inicial y final de los incrementos o diferenciales del componente o sistema en evolución, divididos por la cantidad de elementos que van integrando al componente o sistema en cada instante.
Fuente: https://www.eumed.net/libros-gratis/2008b/405/El%20concepto%20de%20entropia.htm
El segundo principio de la termodinámica establece el crecimiento de la entropía, es decir, la máxima probabilidad de los sistemas es su progresiva desorganización y, finalmente, su homogeneización con el ambiente. Los sistemas cerrados están irremediablemente condenados a la desorganización. No obstante hay sistemas que, al menos temporalmente, revierten esta tendencia al aumentar sus estados de organización (negentropía, información).
Fuente: Documento del profesor
In information theory, entropy is the average amount of information contained in each message received. Here, message stands for an event, sample or character drawn from a distribution or data stream. Entropy thus characterizes our uncertainty about our source of information. (Entropy is best understood as a measure of uncertainty rather than certainty as entropy is larger for more random sources.) The source is also characterized by the probability distribution of the samples drawn from it. The idea here is that the less likely an event is, the more information it provides when it occurs. For some other reasons (explained below) it makes sense to define information as the negative of the logarithm of the probability distribution. The probability distribution of the events, coupled with the information amount of every event, forms a random variable whose average (a.k.a. expected) value is the average amount of information, a.k.a. entropy, generated by this distribution. The units of entropy are commonly referred to as bits, but entropy is also measured in Shannons, nats, or hartleys, depending on the base of the logarithm used to define it.
Fuente: https://en.wikipedia.org/wiki/Entropy_(information_theory)
Aporte Personal
...
Fuente: https://1.bp.blogspot.com/-31rDSUBuuuo/T_TzivSFmiI/AAAAAAAAAZE/xvRA20HsYys/s1600/entropia.png
Resumén del video - Entropía
...