Maximálně věrohodné odhady

Uveďme nejprve pár nezbytných definic a pojmů nezbytných k dalším úvahám.

Definice 2.1. Mějme  parametrický prostor Řekneme, že systém -parametrických hustot

je regulární, jestliže platí

(1)	je otevřená borelovská množina.
(2)	Množina  nezávisí na parametru
(3)	Pro každé  existuje konečná parciální derivace
(4)	Pro všechny platí kde je odpovídající distribuční funkce.
(5)	Pro všechny  je integrál konečný a matice  je pozitivně definitní.  Matice se nazývá Fisherova informační matice o parametru

Poznámka 2.2. Pro jednoduchost někdy hovoříme o regularitě ne o regularitě systému hustot.

Definice 2.3. Nechť Pak náhodný vektor

se složkami

se nazývá skórový vektor příslušný hustotě

Věta 2.4.

(1)	Je-li a pro existují pak
(2)	Platí-li navíc  pro  pak kde

V dalším budeme uvažovat  náhodný výběr  z rozdělení s regulární  hustotou Označme Pak sdružená (simultánní) hustota náhodného vektoru  je rovna

neboť náhodný výběr je tvořen systémem nezávislých náhodných veličin.

Zaveďme  následující značení pro:

• funkce:

• náhodné vektory:

• maticové funkce:

Věta 2.5. Uvažujme náhodný výběr z rozdělení s hustotou

(1)	Pokud pro  existují pak
(2)	Platí-li navíc  pro  (tj. je regulární i v 2. derivacích), pak kde

Následující věta uvádí asymptotické vlastnosti skórových vektorů náhodných výběrů.

Věta 2.6. Mějme náhodný výběr  z rozdělení s regulární hustotou  Označme Nechť pro  všechna a  existují druhé parciální derivace hustoty

(1)	Pak platí nebo ekvivalentně Dále platí nebo
(2)	Platí-li navíc, že je regulární i v 2.derivacích, tj. pak matice náhodných veličin nebo ekvivalentně

V dalším budeme uvažovat pouze regulární hustoty, tj. 

Definice 2.7.

(a)	Věrohodnostní funkcí rozumíme funkci vektorového parametru
(b)	logaritmickou věrohodnostní funkcí nazýváme funkci
(c)	Řekneme, že odhad je maximálně věrohodný odhad (MLE) vektorového parametru pokud platí           pro všechna

V poslední větě této části uveďme důležité vlastnosti, které se týkají asymptotického rozdělení maximálně věrohodných odhadů.

Věta 2.8. Mějme náhodný výběr  z rozdělení s regulární hustotou  Označme Nechť pro  všechna   a  existují druhé parciální derivace hustoty  a platí

Pak

(1)
(2)