Učení neuronu podle Widrowa

Vychází z geometrické interpretace učení neuronu s binárním výstupem. Představa je taková, že neuron rozděluje v souladu s kapitolou „Matematický model a aktivní dynamika neuronu“ výstupní prostor na dva poloprostory a provádí tak klasifikaci vstupních vektorů do jednoho z nich.

V případě, že je klasifikace daného vzoru ze vstupní množiny správná, není zapotřebí žádné úpravy vah. V případě, že je klasifikace chybná, leží klasifikovaný bod ve špatné části poloprostoru rozděleného dělící nadrovinou

(10)

Symbol  značí skalární součin vektorů, tučně označené symboly jsou vektory.Vzdálenost tohoto chybně klasifikovaného bodu od dělící nadroviny lze vyjádřit jako

(11)

kde tato hodnota může být použita kvantifikátor chyby klasifikace.

Zavedeme chybovou funkci, která vyjadřuje sumu vzdáleností od nadroviny pro všechny špatně klasifikované vzory trénovací množiny jako funkci vektoru

(12)

kde použijeme při falešně negativní klasifikaci a při falešně pozitivní klasifikaci.

Cílem adaptačního algoritmu je minimalizovat změnou vah chybovou funkci přes všechny vzory trénovací množiny. Minimalizace chybové funkce se provádí ve směru (funkce už obsahuje změnu znamének dle chybné klasifikace) gradientu a platí:

(13)

(14)

Funkce je tedy chybovou funkcí přes všechny klasifikované vzory trénovací množiny v jedné epoše učení. Uvedený postup lze samozřejmě následně opakovat pro epochy další, až do ukončení adaptace vah.  Dle tohoto pravidla lze postupovat nejen po jednotlivých epochách, ale i iterativně pro jednotlivé vstupní vzory a po částech se tak blížit minimu chybové funkce

Geometrická interpretace adaptace binárního neuronu je tedy taková, že při adaptaci dochází k posunu dělící nadroviny definované vektorem vah neuronu. Vektor vah představuje normálový vektor dělící nadroviny.

Algoritmus provádí úpravu vah vektoru dle pravidla pro chybně klasifikované vzory  nový vektor vah tedy získáme sečtením vektoru původních vah a přiloženého, chybně klasifikovaného vektoru.  Pokud je přiložený vzor chybně klasifikovaný a zároveň platí, že v daném kroku provede tato iterace významnou korekci vektoru a vektor  se prakticky v prostoru velmi přiblíží k vektoru V průběhu učení obvykle dochází s rostoucími iteracemi postupným doučováním ke zmenšování uhlu rotace vektoru a ke stabilizaci umístění dělící nadroviny.

Obr. 8. Geometrická ilustrace adaptace v případě, že vektory X1,X2,X3 mají být korektně zařazeny do bílé části poloroviny.