Ilustrace klasifikačních možnosti vícevrstvého perceptronu

Předpokládejme pro jednoduchost opět klasický euklidovský dvojrozměrný vstupní prostor, ve kterém chceme klasifikovat jednotlivé body do dvou tříd. Vstupní vrstva bude obsahovat stejný počet neuronů, který je roven rozměru vstupního vektoru, tedy dva neurony. Výstupní vrstva pak bude v případě klasifikace do dvou tříd tvořena jediným neuronem s výstupní funkcí ve tvaru ostré nelinearity, tedy poskytující výstupy Konkrétní počet neuronů ve skrytých vrstvách nebude pro provedenou ilustraci podstatný.

Předpokládejme například, že vstupní prostor a klasifikované množiny jsou znázorněny schematicky na následujícím obrázku.

Obr. 8. Schematické znázornění klasifikovaných množin

Již jsme konstatovali, že jednovrstvý perceptron povede prostorem linie, ale nemá schopnost jednotlivé podporostory kombinovat. Tu přináší až další vrstva ve dvouvrstvém perceptronu.

Obr. 9. Skrytá vrstva ve vícevrstvém perceptronu

Dvouvrstvý perceptron se dvěma neurony skryté vrstvy by tedy mohl vstupní prostor rozdělit na 4 oblasti například takto:

Obr. 10. Ilustrace: Rozdělení prostoru vícevrstvým perceptronem

Klasifikace do dvou tříd a by zde nebyla ještě zcela dokonalá, neboť v oblasti vlevo dole se objevují vzory převážně ze třídy ale současně i některé ze třídy Představa aktivní dynamiky dvouvrstvého perceptronu je taková, že první vrstva rozdělí prostor na poloroviny a druhá vrstva provede jejich logickou konjunkci. Umožňuje tak vytvoření libovolné konvexní oblasti. Samozřejmě síť se může naučit zcela jinak. Zde je jen uvedena ilustrace, že toto lze.

Vraťme se nyní k logické funkci XOR, kde nemožnost jejího vyčíslení jednotlivým neuronem a neexistence adaptačního algoritmu pro vícevrstvé sítě vedla ke stagnaci jejich rozvoje. Bude dvouvrstvý perceptron schopen logickou funkci XOR realizovat?

	0 0 0 0 1 1 1 0 1 1 1 0
Obr. 11. Logická funkce XOR.

Funkci XOR můžeme vyjádřit pomocí elementárních logických funkcí jako XOR (X1,X2) = (X1 OR X2)  NOT  (X1 AND X2). Realizace neuronovou sítí může vypadat například jako na následujícím obrázku.

Obr. 12. Možná realizace logické funkce XOR vícevrstvým perceptronem

Stručně ještě uvažujme model třívrstvého perceptronu se třemi neurony v první skryté vrstvě a dvěma neurony v další skryté vrstvě.

Obr. 13. Třívrstvý perceptron

Představa aktivní dynamiky je taková, že první vrstva rozdělí prostor na poloroviny a druhá vrstva rozdělí prostor na konvexní podoblasti a třetí provede sjednocení těchto oblastí. Opět platí, že síť se může naučit zcela jinak a zde je jen uvedena ilustrace, jakým způsobem toho síť může docílit. Vícevrstvý perceptron s dvěma skrytými vrstvami a binárními neurony je tedy univerzálním aproximátorem jakékoli boolovské funkce proměnných.