Srovnání úspěšnosti klasifikace třech a více klasifikátorů

V případě srovnání třech a více klasifikátorů ověřujeme, zda jsou statisticky významně odlišné dosažené správnosti klasifikace stejných testovacích dat pomocí daných klasifikátorů (tzn. nulová hypotéza  , kde  je správnost -tého klasifikátoru). Pro srovnání správností můžeme použít Cochranův Q test nebo F-test. Pokud zjistíme, že je statisticky významný rozdíl ve výsledcích klasifikátorů, můžeme poté srovnávat správnosti klasifikátorů vždy po dvou, aby se zjistilo, které klasifikátory se od sebe liší, přičemž výsledky bychom měli korigovat na mnohonásobné porovnávání (tedy obdobně jako při analýze rozptylu následně provádíme post-hoc testy).

Cochranův Q test vypočítáme jako:

(10)

       

kde  je počet subjektů správně klasifikovaných pomocí -tého klasifikátoru,  je počet klasifikátorů (z celkového počtu ), které správně klasifikovaly -tý subjekt, a  je celkový počet správných hlasů pomocí klasifikátorů, přičemž . Pokud , zamítáme nulovou hypotézu o shodnosti celkové správnosti klasifikace pomocí třech či více klasifikátorů.

F-test je založen na výpočtu sumy čtverců pro klasifikátory a sumy čtverců pro subjekty, přičemž suma čtverců pro klasifikátory se spočítá jako:

(11)

kde  je průměr ze správností všech klasifikátorů ; tedy .

Sumu čtverců pro subjekty lze spočítat následujícím způsobem:                                

(12)

Celková suma čtverců je pak rovna:                       

(13)

a suma čtverců pro interakci klasifikátor – subjekt je rovna:

(14)

Na základě uvedených sum čtverců vypočteme F-statistiku jako:

(15)

Pokud , zamítáme nulovou hypotézu o shodnosti celkové správnosti klasifikace pomocí třech či více klasifikátorů.

Cochranův Q test i F-test jsou validní testy pro srovnání klasifikace třech a více klasifikátorů. Looney (1988) však doporučuje používat F-test, protože je méně konzervativní.

Příklad 5

Srovnejte úspěšnost klasifikace 100 testovacích subjektů pomocí třech klasifikačních metod. Výsledky klasifikace jsou uvedeny v tabulce:

Řešení

Nejprve spočítáme počty subjektů správně klasifikovaných jednotlivými klasifikátory: ;  a . Rovněž spočítáme správnosti klasifikace získané jednotlivými klasifikátory: ;  a . Dále potřebujeme vypočítat , přičemž si musíme uvědomit, že všemi třemi klasifikátory bylo správně klasifikováno 80 subjektů (2. řádek tabulky), dvěma klasifikátory bylo správně klasifikováno  subjektů (3., 4. a 6. řádek tabulky) a jedním klasifikátorem bylo správně klasifikováno  subjektů (5., 7. a 8. řádek tabulky). Tedy .

Pro Cochranův Q test potřebujeme ještě spočítat  . Cochranův Q test pak vypočteme jako . Protože  (což je tabelovaná hodnota pro ), nemůžeme zamítnout nulovou hypotézu o shodnosti úspěšnosti klasifikace danými klasifikátory.

Pro F-test nejprve spočítáme průměrnou správnost  a pak postupně spočítáme jednotlivé sumy čtverců:

 

Z těchto sum čtverců vypočteme . Protože  (což je tabelovaná hodnota pro , tzn. ), zamítáme nulovou hypotézu o shodnosti úspěšnosti klasifikace pomocí daných třech klasifikátorů.

Z výsledků tedy vyplývá, že dle Cochranova Q testu jsme nepotvrdili, že by byl statisticky významný rozdíl v úspěšnostech daných třech klasifikátorů, zatímco dle F-testu řekneme, že je statisticky významný rozdíl v úspěšnostech pomocí daných klasifikátorů (přesněji, že alespoň jeden z klasifikátorů má statisticky významně odlišnou úspěšnost než ostatní). Vzhledem k tomu, že Looney (1988) doporučuje používat F-test, přikloníme se k tomu, že je tedy statisticky významný rozdíl v úspěšnostech klasifikace u těchto třech klasifikátorů. Pokud se podíváme na dosažené úspěšnosti, můžeme výsledky interpretovat tak, že klasifikátor 1 má statisticky významně horší úspěšnost ve srovnání s dalšími dvěma klasifikátory.