Adaptační dynamika

Připomeňme, že adaptační dynamika jednotlivého neuronu i jednovrstvého perceptronu je založena na učení s učitelem na základě trénovací a testovací množiny postupně předkládaných vektorů. Předpokládejme trénovací množinu o prvcích v podobě

(6)

Algoritmus adaptační dynamiky spočívá v postupném předkládání trénovacích vzorů sítě a iterativní úpravě vah na základě odchylky zjištěné na výstupu sítě. Tato odchylka je tedy pro -tý vzor trénovací množiny určena chybovým vektorem

(7)

Jeden krok učení (krok ) je představován následující posloupností úkonů:

1. Předložení vstupu síti.
2. Zjištění odezvy sítě
3. Výpočet odchylky pro poslední vrstvu sítě.
4. Rozpočítání odchylky na neurony předchozích vrstev.
5. Lokální úprava vah neuronů sítě na základě rozpočítané odchylky pro každý neuron.

Tyto kroky se opakují, dokud nejsou splněny podmínky pro zastavení adaptace.

Zatímco v případě jednotlivého neuronu a jednovrstvého perceptronu je určení odchylky a následná úprava vah snadná, u vícevrstvých perceptronů je situace složitější. Adaptační algoritmus je totiž v případě vícevrstvého perceptronu schopen přímo určit jen odchylku na výstupní vrstvě sítě a tedy dosud zavedenými algoritmy by bylo možné adaptovat pouze váhy poslední, výstupní vrstvy. Základní otázkou tedy je, jakým způsobem určit chybu neuronů ve skrytých vrstvách vícevrstvého perceptronu. Tuto situaci řeší tzv. algoritmus zpětného šíření chyby, kdy jeho odvození vedlo po déle trvajícím útlumu k bouřlivému rozvoji zájmu o neuronové sítě.