Re: Entropie

From	Joachim Pimiskern <JoachimPimiskern@web.de>
Newsgroups	de.sci.informatik.misc
Subject	Re: Entropie
Date	2023-02-12 20:31 +0100
Message-ID	<k4st47Fd2reU1@mid.individual.net> (permalink)
References	<k3n31dFgs42U1@mid.individual.net> <bit-20230130205226@ram.dialup.fu-berlin.de>

Show all headers | View raw

Am 30.01.2023 um 20:54 schrieb Stefan Ram:
 > Andreas Wagner <andreasw-usenet@web.de> writes:
 >> Kurz: Braucht man für informationstechnische Entropie
 >> nicht eigentlich eine Einheit?
 >
 >    Also, das wäre das Bit. Beispielsweise beträgt die Entropie eines
 >    Systems, das entweder 0 oder 1 ist, von dem man aber nicht weiß,
 >    welches der beiden, 1 Bit. Dies ist der /logarithmus dualis/
 >    der Anzahl der Zustände multipliziert mit der Einheit "Bit".

Zur Ergänzung: das gilt gdw. beide Zeichen gleich wahrscheinlich
sind. Allgemein ist die Entropie einer Nachrichtenquelle
gleich -Summe über alle i von P(i) * ld(P(i)
wobei ld der dyadische Logarithmus ist. P(i) sind die
Wahrscheinlichkeiten der einzelnen Zeichen.

Grüße,
Joachim

Back to de.sci.informatik.misc | Previous | Next — Previous in thread | Next in thread | Find similar

Thread

Entropie Andreas Wagner <andreasw-usenet@web.de> - 2023-01-29 11:19 +0000
  Re: Entropie [korrigiert] Thomas 'PointedEars' Lahn <PointedEars@web.de> - 2023-01-29 23:34 +0100
  Re: Entropie Thomas 'PointedEars' Lahn <PointedEars@web.de> - 2023-02-01 21:26 +0100
  Re: Entropie Joachim Pimiskern <JoachimPimiskern@web.de> - 2023-02-12 20:31 +0100
    Re: Entropie Marc MacMitch <marcmacmitch@gmail.com> - 2023-03-31 09:52 -0700

csiph-web