10. Interpretační problémy a aspekty intervalového odhadu a p-hodnoty

Co je statistická významnost?

Je to matematický výsledek pravděpodobnostních testů a odpovídá na otázku, zda je pozorovaný efekt připsat náhodně. Většinou se udává pravděpodobnost p < 0,05, což znamená, že pravděpodobnost, že se jedná o náhodu je menší než 5%.

Co je to věčná významnost?

• Posouzení statistické významnosti → zda má rozdíl v praxi vůbec smysl

• Měří se například pomocí Cohenovo velikostního účinku d

Příklad významností:

Nová metoda výuky zlepšila bodový průměr o 0,1 bodu ze 100 bodů. Máme 10 000 studentů.

• statistická významnost → Bude extrémně významná

• věčná významnost → Koho bude zajímat že je zlepšení jen o 0,1 bodu? Nikoho…

Vliv velikosti vzorku na významnosti:

• Málo dat

  • Testy budou vycházet slabě

  • variabilita bude vysoká

  • data nebudou splňovat normální rozdělení

  • Některé modely nebudou moc s výběrem pracovat (regrese například)

• Příliš moc dat

  • velká stat. významnost bez významu → nepatrné rozdíly budou statisticky významné, ale prakticky je to blbost a nepoužitelné

  • Velké riziko zkreslení → data budou obsahovat chyby, špatné měření, duplicity a těch bude víc ve velkém množství dat

Jaké jsou interpretační problémy P-hodnoty?

je to pravděpodobnost, že bychom naměřili taková data, kdyby platila nulová hypotéza.

• není to pravděpodobnost, že nulová hypotéza platí nebo pravděpodobnost toho, že se pletu

Vliv velikosti vzorku na p-hodnotu:

• Malý vzorek (malé n)

  • test bude mít nízkou sílu, velmi často neodmítne H₀, i když neplatí (chyba 2.) a interval spolehlivosti je obrovský

• Obrovský vzorek (velké n)

  • Přesný opak, i nevýznamné hodnoty jsou významné

  • Test označí významný rozdíl tam, kde je ten rozdíl zanedbatelný

  • Řeší se snížením hladiny alfa = 0.01 a uvažováním o věčné významnosti, či interpretaci grafů (co říkají grafy, jaké jsou rozdíly)

Interpretační problémy Intervalu spolehlivosti

Udává interval, ve kterém se s určitou pravděpodobností přesností odhadu nachází hledaná hodnota.

Vliv velikosti vzorku na interval spolehlivosti:

• Malý vzorek

  • široký interval → například plat je +- 20 000Kč → Málo informací

  • velké riziko, že interval nezahrne skutečný hledaný parametr populace

• Velký vzorek

  • Úzká interval → například plat +- 50Kč → velká přesnost

• Pokud interval obsahuje nulu, rozdíl není statisticky významný

Interpretační problémy kovariance

Kovariance není standardizována, její hodnota tedy závisí na jednotkách měření proměnných, které pozorujeme

Není standardizována → Je obtížné určit, zda je vztah silný nebo slabý

Neříká ani to, zda jedna proměnná má vliv na druhou (zda ovlivňuje její směr → kladný/záporný)

Interpretační problémy korelace

Jedná se o standardizovanou kovarianci, které už nepočítá s jednotkami.

• Pokud dvě veličiny korelují, neznamená to že jedna způsobuje druhou, může v tom hrát roli 3 vliv (prodej zmrzliny x útok žraloků x teplo)

• Vliv outlierů → je citlivá na odlehlé hodnoty, které mohou zvýšit nebo snížit hodnotu korelačního koeficientu

• Omezený rozsah hodnot → když mám jednu (nebo obě) proměnné nějakým způsobem omezený (třeba váha batolat), tak korelace nevyjde dobře a bude třeba malá.