Metoda maximální věrohodnosti (maximum-likelihood estimation) je důležitým nástrojem biostatistiky, který je používán pro jednoduché odhady, jako je např. odhad směrodatné odchylky normální náhodné veličiny, i velmi netriviální odhady v nelineárních modelech s daty z jiného než normálního rozdělení pravděpodobnosti [2]. Principem metody maximální věrohodnosti je najít odhad parametru θ (případně vektoru parametrů), který maximalizuje pravděpodobnost, že pozorované hodnoty pocházejí z předpokládaného rozdělení pravděpodobnosti. Jinými slovy se snažíme najít takovou hodnotu θ, pro niž je pravděpodobnost, že pozorované hodnoty pocházejí z předpokládaného rozdělení, maximální. Odhad se tedy snaží maximálně přizpůsobit pozorovaným datům, což je logické, když připouštíme, že data představují jediný zdroj informací o našem neznámém parametru. Opět ale platí, že celý úspěch maximálně věrohodného odhadu je závislý na korektní specifikaci pravděpodobnostního chování, tedy volbě konkrétního rozdělení pravděpodobnosti.

Uvažujme náhodný výběr X₁,…, X_n, tedy n nezávislých náhodných veličin se stejným rozdělením pravděpodobnosti s hustotou f(x,θ), kde θ představuje vektor neznámých parametrů. Sdružená hustota, případně pravděpodobnostní funkce, odpovídající n realizacím náhodné veličiny X, tedy hodnotám x₁, x₂,…, x_n, pak má tvar:

(5.3)

Za předpokladu, že známe θ, vyjadřuje větší hodnota sdružené hustoty větší shodu pozorovaných hodnot s předpokládaným rozdělením s hustotou f(x,θ). Hlavní myšlenkou metody maximální věrohodnosti je dívat se na sdruženou hustotu nikoliv jako na funkci x₁, x₂,…, x_n, ale jako na funkci vektoru θ (při pevně daných x₁, x₂,…, x_n), a vybrat ze všech možných hodnot θ takové, aby výraz (5.3) nabýval svého maxima. Pro tento účel zavádíme tzv. funkci věrohodnosti (likelihood function) ve tvaru

(5.4)

což je vyjádření shodné se sdruženou hustotou, kde ovšem jako závisle proměnná vystupuje vektor neznámých parametrů θ. Maximálně věrohodný odhad vektoru θ pak značíme , a je to číselný vektor, který maximalizuje funkci věrohodnosti, tedy

(5.5)

kde výraz Θ symbolizuje parametrický prostor, tedy prostor všech možných hodnot vektoru θ. Často je pro nás výhodnější maximalizovat logaritmus funkce věrohodnosti (řada rozdělení pravděpodobnosti má hustotu vyjádřenou pomocí exponenciály a přirozený logaritmus je tudíž výhodný pro zjednodušení součinu). Tato tzv. logaritmická věrohodnostní funkce (log-likelihood function) má tvar

(5.6)

Tuto operaci si můžeme dovolit, protože přirozený logaritmus je funkce, která zachovává extrémy (je monotónní). Je-li funkce věrohodnosti diferencovatelná, lze najít maximálně věrohodný odhad jako stacionární bod funkce L nebo l, tedy řešení systému rovnic, kdy první derivace funkce věrohodnosti (nebo jejího logaritmu) podle parametrů položíme rovny 0. Následně bychom měli ověřit, zda jsme opravdu nalezli maximum, např. pomocí druhých derivací.

Příklad 5.1. Najděme maximálně věrohodný odhad parametru λ Poissonova rozdělení. Uvažujme n nezávislých pozorování, x₁, x₂,…, x_n, z Poissonova rozdělení, funkce věrohodnosti pak má tvar

(5.7)

Logaritmus funkce věrohodnosti lze pomocí jednoduchých pravidel pro počítání s logaritmy vyjádřit jako

(5.8)

derivace logaritmu funkce věrohodnosti podle λ (která se pro dosažení maxima má rovnat nule) pak vypadá následovně:

(5.9)

Jednoduchou úpravou dostáváme, že maximálně věrohodným odhadem parametru λ Poissonova rozdělení je průměrný počet pozorovaných událostí v n opakováních experimentu (že je průměr opravdu maximem lze ověřit pomocí druhých derivací), tedy

(5.10)