Negativní entropie

Negativní entropie (neboli negentropie) je parametr, vycházející z jednoho ze základních principů teoretické fyziky a Shannonovy teorie informace, tj. principu entropie a její míry.

Obecně pro systém s konečným počtem možných stavů a pravděpodobnostní distribucí je informační entropie definována jako střední hodnota

(formálně pro  = 0 definujeme = 0). Základ použitého logaritmu je zpravidla roven 2, v tom případě velikost entropie udáváme v bitech. Definujeme-li na intervalu a , funkci , tato funkce nabývá nulové hodnoty v krajních bodech intervalu a jednoho maxima uvnitř definičního intervalu. Pro dvojkový logaritmus by se maximum vyskytovalo na a = 0,368.

Z informatického hlediska vnímáme entropii jako míru neurčitosti systému. Pro úzká, příp. ostrá rozdělení pravděpodobnosti je entropie nízká, naopak široká či neostrá rozdělení pravděpodobnosti mají entropii vysokou. Entropie je maximální pro rovnoměrné rozdělení, tj. pro

(11)

V tom případě je

(12)

Minimální entropie pro deterministický systém s pravděpodobnostní distribucí  = 1 pro nějaké a = 0 pro . Tehdy je

(13)

I na základě těchto konkrétních výsledků můžeme entropii interpretovat jako míru informace, kterou poskytuje daná hodnota měřené veličiny. Čím náhodnější, tj. čím méně očekávaná, či determinovaná je daná proměnná, tím je její entropie větší.

Entropie definovaná pro diskrétní náhodnou proměnnou může být zobecněna pro spojitý případ, kdy se ale spíše vžilo označení diferenciální entropie. Pro náhodnou proměnnou s hustotou rozdělení pravděpodobnosti je diferenciální entropie určena vztahem

nebo obecněji

(14)

který může být dále zobecněn i pro vícerozměrnou proměnnou

nebo obecněji

(15)

Diferenciální entropie má podobné vlastnosti jako entropie, také může být interpretována jako míra náhodnosti. Čím jsou hodnoty proměnné soustředěny v širším intervalu a čím je jejich pravděpodobnost rovnoměrnější, tím je diferenciální entropie větší. Dále platí, že entropie Gaussova normálního rozdělení má největší hodnotu ze všech rozdělení pravděpodobnosti s týmž rozptylem.

Protože hodnota diferenciální entropie pro normální rozložení není pro konkrétní případ předem známa, je hodnota kriteriální funkce použitá pro určení optimálních hodnot transformační matice definována rozdílem odhadnuté negentropie normálního rozložení

(16)

kde  je vektor hodnot náhodné veličiny s normálním rozdělením a stejným rozptylem (a tím také stejnou kovarianční maticí ) jako náhodný vektor s a kde ze známé kovarianční matice odhadujeme entropii normálního rozdělení podle vztahu

(17)

kde p je rozměr vektoru . Proměnnou zde nazýváme negentropií. Nastavení transformační matice hledáme tak, aby hodnota byla co největší. Negentropie je vždy nezáporná a je rovna nule pouze tehdy a jen tehdy, pokud má normální rozdělení. Dále, negentropie je invariantní vůči změně měřítka náhodné proměnné, tj. vynásobíme-li hodnoty náhodné proměnné konstantou, její negentropie se nemění.

Mezi výhody negentropie patří její jednoznačné hodnocení normality, resp. nenormality. Negentropie je ve srovnání s koeficientem šikmosti odolnější vůči odlehlým hodnotám. Na druhé straně je negentropie obtížně vyčíslitelná, protože její výpočet vyžaduje vyčíslit definiční integrál podle vztahu (14), nebo dokonce (15) pro rozdělení pravděpodobnosti odpovídající zpracovávaným datům. Hodnota integrálu může být teoreticky určena analyticky (pokud to umíme) z funkčního vyjádření hustoty pravděpodobnosti, které stanovíme nějakým parametrickým odhadem. Tento způsob je ale z velké části závislý na apriorní informaci o charakteru rozložení dat, nehledě na skutečnost, že analytické výpočty nad experimentálními daty nejsou organizačně příliš praktické. Alternativním způsobem výpočtu integrálu může být numerický odhad jeho hodnoty, založený na neparametrickém odhadu hustoty pravděpodobnosti. Ať ten, či onen způsob výpočtu hodnoty entropického integrálu je zpravidla zatížen takovou chybou, která z konceptu negentropie dělá spíše teoretickou disciplínu, než praktický návod ke zpracování experimentálních dat. Zmíněné problémy proto vedou k hledání dalších způsobů, jak v daných konkrétních případech prakticky realizovat odhad negentropie.

Již klasickým postupem je aproximace negentropie pomocí kumulantů vyššího řádu vztahem (s jednorozměrnou náhodnou veličinou)

(18)

který lze z definičního vztahu negentropie odvodit pro data standardizovaná na směrodatnou odchylku pomocí polynomiálního rozvoje hustoty pravděpodobnosti. Nicméně pro symetrická rozdělení je první člen ve výrazu na pravé straně vztahu (18) nulový, což v důsledku znamená, že se pro data tohoto typu vracíme k hodnocení nenormality pomocí koeficientu špičatosti se všemi negativy i pozitivy tohoto přístupu.

Případnou alternativou je zobecněná aproximace pomocí kumulantů vyššího řádu, která nahrazuje polynomiální funkce , příp. jinými funkcemi . Za předpokladu, že  jsou nekvadratické a je lichá a sudá, je možné odvodit obecný aproximační vztah

(19)

kde  jsou váhové konstanty vyjadřující vliv obou členů a υ je standardizovaná náhodná proměnná s normálním rozdělením, příp. pro jedinou nekvadratickou funkci je

(20)

což je zobecněním momentové aproximace podle vztahu (18) za předpokladu, že náhodná proměnná má symetrické rozložení.

Až dosud jsme uvažovali poměrně obecný tvar funkcí . Pro konkrétní realizaci je ale třeba pracovat s konkrétní funkcí. Praxe ukázala, že pro robustnost odhadu je užitečné, pokud funkce nejsou příliš rychle rostoucí. Experimentálně se prokázaly užitečné vlastnosti zejména funkcí

(21)

a

(22)

kde je konstanta, přičemž se většinou volí  = 1.