Autokorelace

V některých případech (často v časových řadách) hodnoty náhodné chyby závisí na předchozích hodnotách což má za následek, že efekt náhodných chyb není okamžitý, ale je pociťován i v budoucnosti. Tento případ se nazývá autokorelace.

Existují různé formy autokorelace, ty pak mají vliv na tvar varianční matice Omezme se na nejjednodušší a zároveň nejpropracovanější formu autokorelace, která se nazývá autoregrese 1. řádu, značíme

Předpokládejme tedy, že platí

kde je neznámý parametr,

Vypočtěme postupně

Vektor náhodných chyb již nemá varianční matici diagonální se stejným rozptylem, tj. ale

Náš model je tedy tvaru

Vidíme, že uvažovaný model nesplňuje předpoklad homogenity rozptylu náhodných chyb, proto přejdeme k užitečnému zobecnění lineárního regresního modelu.

Uvažujme lineární regresní model s obecnější varianční maticí

Také v tomto případě jsou a neznámé parametry a matice je (zpravidla známá) pozitivně definitní matice. Následující věta ukazuje, jakým způsobem lze provést odhad neznámých parametrů v tomto obecnějším případě.

Věta 3.1. (Aitkenův odhad). Mějme regresní model plné hodnosti, kde   Pak odhad pomocí metody nejmenších čtverců je roven

Poznámka 3.2. V případě, že matice je diagonální, mluvíme o vážené regresi a metodě nejmenším čtverců, pomocí které byly provedeny odhady, se v tomto případě říká vážená metoda nejmenších čtverců.
Příkladem takového modelu je situace, kdy -tá složka vektoru je průměrem nezávislých pozorování se stejnou střední hodnotou a stejným rozptylem Potom

a regresní model je tvaru

kde