Kvantizace a entropie spojité náhodné veličiny

Shannonova entropie ve vzorci Vybraná témata z teorie informace (2) je definována pouze pro diskrétní náhodné veličiny. Uvažujme nyní spojitou náhodnou veličinu s Riemannovsky intergrabilní hustotou pravděpodobnosti a najděme entropii její jednoduché kvantizace.

Obor hodnot náhodné veličiny rozdělíme na ekvidistantní intervaly

přičemž předpokládáme, že hustota je na těchto intervalech spojitá.

Z Lagrangeovy věty o střední hodnotě plyne, že v každém dělicím intervalu existuje takové že

(23)

Definujeme kvantizovanou diskrétní náhodnou veličinu tak, že

(24)

s pravděpodobností funkcí

(25)

Entropie náhodné veličiny je pak rovna

jelikož Navíc z Riemannovské integrability plyne

(26)

Definujeme pak diferenciální entropii spojité náhodné veličiny výrazem

(27)

Všimněme si analogie Vybraná témata z teorie informace (27) s Vybraná témata z teorie informace (2), resp. Vybraná témata z teorie informace (6). Avšak zatímco pro entropii obecně platí diferenciální entropie   může nabývat i hodnot záporných a tedy není ekvivalentem Shannonovy entropie. Pro však můžeme položit Zvolíme-li pak lze tvrdit, že entropie -bitové kvantizace je přibližně