Matematický model a aktivní dynamika neuronu

Schematický model jednotlivého neuronu je uveden na následujícím obrázku. Neuron lze rozdělit na několik částí: Synapse ohodnocené vahami které přivádějí vstupy do těla neuronu, vlastní tělo neuronu ve kterém je získáván vnitřní potenciál neuronu blok aktivační přenosové funkce a konečně výstup neuronu Do těla neuronu vstupuje ještě konstantní hodnota prahu

Obr. 5. Model neuronu

Vstupem neuronu je vektor o prvcích, které jsou obecně reálné. Podobně práh může být reálnou hodnotou a často je modelován jako jeden ze vstupů, jak si ukážeme dále. Vnitřní potenciál neuronu je hodnota, která vzniká porovnáním váhovaných a sečtených vstupů s prahem. Váhy jsou opět reálná čísla, mohou být tedy kladné i záporné a modelovat tak aktivační i inhibiční synapse. Aktivační přenosová funkce provádí obecně nelineární transformaci vnitřního potenciálu na jednu, obecně opět reálnou hodnotu. Neuron tedy provádí zobrazeni z

Podívejme se nyní podrobněji na aktivní dynamiku neuronu. Po přiložení vstupního vektoru může být vnitřní potenciál neuronu vyčíslen jako

(1)

Každý prvek vstupního vektoru je tedy násoben příslušnou vahou, tato hodnota je v těle neuronu sečtena pro všechny prvky vstupního vektoru a od výsledné hodnoty je odečten práh. Takto získaná hodnota vnitřního potenciálu se stává následně argumentem obecně nelineární aktivační přenosové funkce.

Z praktických důvodů se práh zpravidla modeluje jako jedna z vah tak, že vstupní vektor i vektor vah je rozšířen o nultou pozici. Vstup na nulté pozici je vždy uvažován za roven a nultá váha je nastavena na hodnotu V takovém případě se práh stává jednou z vah a v průběhu trénování podléhá adaptaci.

Celkovou odezvu, tedy výstup neuronu pak můžeme vyjádřit jako

(2)

kde a

Aktivační přenosová funkce je obecně nelineární funkcí transformující hodnotu vnitřního potenciálu neuronu. Předpokládejme její nejjednodušší typ, ostrou nelinearitu, kdy platí

(3)

Nynípředpokládejme neuron pro se dvěma reálnými vstupy a odpovídajícími vahami Takto definovaný neuron realizuje zobrazení z Uvažujme, že vstupy a představují body v dvourozměrném Euklidovském prostoru. Neuron ve své aktivní dynamice reaguje na vstupy předkládané z tohoto prostoru a přiřazuje jim hodnoty nebo Provádí tak vlastně klasifikaci těchto bodů roviny do dvou skupin podle hodnoty aktivační přenosové funkce, tj. výstupu neuronu.

Pokud se podrobněji podíváme na vztah vyjadřující odezvu neuronu, zjistíme, že v tomto konkrétním případě je zařazení bodů dáno jejich pozicí vůči přímce definované aktivační funkcí, respektive přesněji vahami neuronu. Dělící přímka odlišující dvě skupiny bodů má tedy v dvourozměrném prostoru rovnici

(4)

Obr. 6. Ilustrace klasifikace neuronu v rovině

Uvedenou ilustraci lze zobecnit na -rozměrné Euklidovské prostory, kdy -rozměrný vektor vah neuronu představuje nadrovinu dělící prostor na dva poloprostory.

Aktivační přenosové funkce nejčastěji používané v dopředných neuronových sítích jsou na následujícím obrázku. Obvyklou podmínkou pro volbu přenosové funkce je její (ideálně snadná) diferencovatelnost (logistická sigmoida, hyperbolický tangens), což umožňuje využít učících algoritmů založených na gradientních metodách. V jednoduchých případech, kdy nastavujeme parametry sítě jinými metodami (například přímým výpočtem), lze využít i funkce, které tuto podmínku nesplňují (skoková funkce, po částech lineární).

Obr. 7. Aktivační přenosové funkce

Závěrem tohoto odstavce je třeba alespoň poznamenat, že jsou používány i odlišné koncepce neuronů, kde je výstup neuronu kalkulován jiným způsobem. Příkladem mohou být sítě s radiální bází (RBF sítě), kde neuron vyčísluje vzdálenost vstupního vektoru od vektoru vah Dalším reprezentantem jsou vlnkové sítě. Vlnkové sítě se používají zejména při analýze signálů a obrazů.