Odhady neznámých parametrů

V dalším se budeme věnovat odhadům vektoru neznámých parametrů  

Definice 3.1. Řekneme, že odhad  je lineárním odhadem vektoru , jestliže existuje matice reálných čísel  taková, že 

Dále řekneme, že odhad  je nestranným odhadem vektoru  jestliže pro každé  platí 

Jestliže  je takový lineární nestranný odhad vektoru parametrů , že pro každý jiný lineární nestranný odhad  je rozdíl variančních matic  pozitivně semidefinitní matice, potom budeme říkat, že  je nejlepší nestranný lineární odhad (Best Linear Unbiased Estimator) parametrů , zkráceně BLUE odhad.

V další části budeme hledat BLUE-odhad parametru  a odvodíme jeho vlastnosti. Tento odhad budeme hledat metodou nejmenších čtverců (Ordinary Least Square Method).

Definice 3.2. Řekneme, že odhad  je odhadem parametru  metodou nejmenších čtverců, jestliže

Věta 3.3. Odhad parametru  v modelu  je tvaru

Důkaz. Nejprve označme symbolem  i-tý řádek matice plánu  a symbolem  j-tý sloupec této matice, tj.

Nutnou podmínkou pro extrém je, aby parciální derivace byly nulové, tj. pro  

Proto počítejme

Nyní se budeme snažit vyjádřit předchozí rovnost maticově. Upravujme postupně levou a pravou stranu:

a celkově, zapíšeme-li rovnic pod sebe a uvažujeme-li obě strany rovnosti, dostaneme

Vzhledem k předpokladu, že jde o model plné hodnosti, tj.  řešení normálních rovnic má tvar

Nyní zbývá dokázat, že tento extrém je také minimem, tj. že matice druhých parciálních derivací je pozitivně semidefinitní matice. Proto počítejme -tý prvek matice druhých parciálních derivací

Takže matice druhých parciálních derivací je

tj. jde o pozitivně definitní matici a tím je věta dokázaná.

Věta 3.4. (Gaussova-Markovova věta). Odhad  v modelu  je BLUE-odhad (tj. je nejlepší nestranný lineární odhad) a jeho variační matice je rovna

Věta 3.5. Pro libovolný vektor  je   BLUE-odhad parametrické funkce  a má rozptyl 

Věta 3.6. Platí

kde  je  „hat“ matice

Věta 3.7. Odhad

 je nestranným odhadem rozptylu