Entropie - ist ein Begriff aus der Informationstheorie und Statistik, der verwendet wird, um das Maß an Ungewissheit oder Unordnung in einem System zu messen. Im Kontext von Daten oder Informationen zeigt die Entropie, wie groß die Vielfalt oder Komplexität der Informationen ist.

Je höher die Entropie, desto größer ist die Ungewissheit oder Vielfalt in den Daten. Niedrige Entropie zeigt an, dass die Daten geordneter oder weniger vielfältig sind.

Ein gutes Beispiel für Entropie könnte das Archivieren von Textdateien sein.Eine Textdatei, die 1000 Zeilen (gleicher) mit dem Wort 'dieses' hat, wird eine niedrige Entropie haben und der Kompressionsgrad der Datei beim Archivieren wird hoch sein (gleiche Daten lassen sich einfacher ordnen und komprimieren). Eine Textdatei, die 1000 verschiedene Wörter enthält, hat eine höhere Entropie und der Kompressionsgrad wird geringer sein.