Odhady parametrů regresního modelu
Pro odhad parametrů lineárního regresního modelu zpravidla využíváme metodu nejmenších čtverců. Pro takový odhad musí platit, že minimalizuje druhé mocniny rozdílů mezi jednotlivými pozorováními výsledku a regresní přímkou (nebo obecně regresní nadrovinou – přímka ve dvourozměrném prostoru, rovina ve třírozměrném prostoru, atd.). Následující vztah umožňuje odhadnout parametry regresního modelu metodou nejmenších čtverců (třeba i „ručně“, spíše však s pomocí maticového kalkulátoru). Budeme jej značit jako (stříška označuje, že se jedná o odhad příslušného parametru, index OLS pochází z anglického ordinary least squares, tedy metoda (obyčejných) nejmenších čtverců).
|
|
(2.5) |
Důkaz tohoto tvrzení viz předmět Statistické modelování, výuková jednotka Lineární regresní model, část Odhady neznámých parametrů, Věta 3.3.
Lze dále dokázat, že odhad metodou nejmenších čtverců je nejlepší (ve smyslu nejmenšího rozptylu odhadu) nestranný (střední hodnota odhadu je rovna hledanému parametru) lineární odhad. Rozptyl odhadu regresních koeficientů je:
|
|
(2.6) |
a tedy známe rozdělení odhadu parametrů modelu metodou nejmenších čtverců:
|
|
(2.7) |
Veličina, kterou jsme minimalizovali prostřednictvím metody nejmenších čtverců, se nazývá reziduální součet čtverců a je definována následovně.
|
|
(2.8) |
Reziduální součet čtverců nám umožní odhadnout rozptyl regresního modelu (reziduí) σ2:
|
|
(2.9) |
