Statistická a praktická významnost

Rozhodnutí o zamítnutí/nezamítnutí nulové hypotézy je vlastně rozhodnutím o tzv. statistické významnosti (statistical significance) rozdílu dvou nebo více výběrových souborů ve sledované náhodné veličině, případně rozdílu jednoho souboru od předem dané konstantní hodnoty. Velmi často se však při testování stává, že je zanedbána praktická interpretace dosaženého výsledku, např. rozdílu v délkách nebo efektu léčby. Praktická využitelnost pozorovaných hodnot odpovídá naopak tzv. věcné (praktické, klinické, biologické) významnosti (clinical, biological significance) výsledku, která ale nemusí vždy odpovídat významnosti statistické. Vzhledem k tomu, že testování statistických hypotéz vždy provádíme kvůli možnosti zobecnění z náhodného výběru na celou populaci, je ověření interpretační hodnoty výsledku minimálně stejně významné jako vlastní výpočet testu. Statistická významnost totiž nutně nemusí znamenat existenci příčinného vztahu, respektive dosažení malé výsledné p-hodnoty nemusí znamenat dosažení velkého rozdílu ve sledované náhodné veličině, např. efektu léčby. Statistická významnost pouze indikuje, že pozorovaný rozdíl není ve smyslu stanovené hypotézy náhodný.

Absolutní velikost efektu je při srovnání sledovaných skupin subjektů měřitelná například jako rozdíl výběrových průměrů. Pro stanovení, jaký dosažený efekt je ale zároveň i věcně podstatný, neexistuje žádné univerzální pravidlo, neboť vše závisí na konkrétní situaci, měřené veličině a cílech výzkumu. V jedné situaci může být za podstatný považován efekt, který v jiném kontextu podstatný není. Nastavení vždy musí provádět člověk znalý věci, který čerpá ze znalosti problému nebo z informací dostupných z literatury.