Preizkušanje hipotez

Preprosta in kratka vadnica o testiranju hipotez z uporabo Pythona

Slika s: http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

V tem blogu bom predstavil kratko vadnico testiranja hipotez z uporabo statističnih metod v Pythonu. Preizkušanje hipotez je del znanstvene metode, ki jo poznamo vsi, česar smo se verjetno naučili v svojih zgodnjih izobraževalnih letih. Vendar pa se v statistiki izvaja veliko poskusov na vzorcu populacije.

"Če določimo, kaj nam vzorec opazovanj kaže na predlagano razlago, na splošno od nas zahteva, da sklepamo ali, kot to imenujemo statistiki, v utemeljitev z negotovostjo. Obrazložitev z negotovostjo je jedro statističnega sklepanja in se običajno izvaja z metodo, imenovano Null Hypothesis Sigence Testing. " -Pervi.

Kot primer za ta blog bom uporabil evropski nogometni nabor podatkov, ki ga najdemo na Kaggleju, in izvedel testiranje hipotez. Nabor podatkov je na voljo tukaj.

Korak 1

Opazite

Prvi korak je opazovanje pojavov. V tem primeru bo to: Ali je vpliv obrambne agresije na povprečno dovoljene cilje?

2. korak

Preučite raziskavo

Dobra miselnost je delati pametneje in ne težje. Dobro je videti, ali raziskave, povezane z vašim opazovanjem, že obstajajo. V tem primeru lahko pomaga pri odgovoru na naše vprašanje. Če se zavedamo že obstoječih raziskav ali eksperimentov, nam bo pomagalo strukturirati boljši eksperiment ali celo odgovoriti na naše vprašanje in mu ne bo treba izvesti eksperimenta.

3. korak

Oblikujte ničelno hipotezo in alternativno hipotezo

Alternativna hipoteza je naše izobraženo ugibanje, nična hipoteza pa je ravno nasprotno. Če alternativna hipoteza navaja, da obstaja veliko razmerje med dvema spremenljivkama, nična hipoteza navaja, da ni pomembnega razmerja.

Naša Null Hypothesis bo: Ni dovoljenih statističnih razlik v ciljih z ekipami, katerih ocena obrambne agresije je večja ali enaka 65 proti ekipam pod 65.

Nadomestna hipoteza: Dovoljena je statistična razlika v ciljih z ekipami, katerih ocena obrambne agresije je večja ali enaka 65 v primerjavi z ekipami pod 65 let.

4. korak

Ugotovite, ali je naša hipoteza preizkus z enim repom ali dvotirni test.

Test z enim repom

"Če uporabljate stopnjo pomembnosti 0,05, enosmeren test omogoča vsem alfa preizkusiti statistično pomembnost v eno smer, ki vas zanima." Primer enosmernega testa bi bil "Nogometne ekipe z napadalno stopnjo nižjo od 65 dovoljujejo statistično bistveno več golov kot ekipe z oceno, nižjo od 65."

Dvotirni test

»Če uporabljate stopnjo pomembnosti 0,05, dvotirni test omogoča polovici alfa preizkus statističnega pomena v eno smer in polovico alfa za preizkus statistične pomembnosti v drugi smeri. To pomeni, da je 0,025 v vsakem repu porazdelitve vaše testne statistike. "

Z dvotirnim testom preizkušate statistično pomembnost v obe smeri. V našem primeru statistično pomembnost preizkušamo v obe smeri.

5. korak

Nastavite raven pomembnosti praga (alfa)

(alfa vrednost): Mejni prag, pri katerem smo v redu z zavrnitvijo ničelne hipoteze. Vrednost alfa je lahko katera koli vrednost, ki jo nastavimo med 0 in 1. Vendar je najpogostejša alfa vrednost v znanosti znanost 0,05. Alfa, nastavljena na 0,05, pomeni, da smo v redu z zavrnitvijo ničelne hipoteze, čeprav obstaja 5% ali manj možnosti, da so rezultati posledica naključnosti.

P-vrednost: Izračunana verjetnost, da pride do teh podatkov naključno.

Če izračunamo vrednost p in znaša 0,03, lahko to razložimo tako, da rečemo: "Obstaja 3% možnosti, da so rezultati, ki jih vidim, dejansko posledica naključnosti ali čiste sreče".

Slika z Learn.co

Naš cilj je izračunati p-vrednost in jo primerjati z našo alfo. Nižja je alfa, strožji je test.

6. korak

Izvedite vzorčenje

Tu imamo svoj podatkovni niz, imenovan nogomet. Za naš test potrebujemo v našem podatkovnem nizu le dva stolpca: team_def_aggr_rating in target_allowed. Filtrirali ga bomo v ta dva stolpca in nato ustvarili dve podskupini za ekipe z oceno obrambne agresije, ki je večja ali enaka 65, in ekipe z obrambno agresijo pod 65.

Samo za ponovni preizkus hipoteze:

Vpliv obrambne agresije na povprečno dovoljene cilje. Ničelna hipoteza: Ni dovoljenih statističnih razlik v ciljih z ekipami, katerih ocena obrambne agresije je večja ali enaka 65, v primerjavi z ekipami pod 65. Alternativna hipoteza: Dovoljena je statistična razlika v ciljih, če imajo ekipe z obrambno agresijo večjo več kot enako 65 v primerjavi s skupinami, mlajšimi od 65 let. Dvostranski preskusni alfa: 0,05

Zdaj imamo dva seznama vzorcev, na katerih lahko izvajamo statistične teste. Pred tem korakom bom sestavil obe distribuciji, da bom dobil vizualno.

7. korak

Izvedite dve vzorčni T-test

Dvo vzorčni t-test se uporablja za določitev, ali sta dve populacijski sredstvi enaki. Za to bomo uporabili modul Python, imenovan statsmodels. Ne bom se spuščal v podrobnosti o statističnih modelih, dokumentacijo pa si lahko ogledate tukaj.

8. korak

Ocenite in zaključite

Spomnimo se, da je bila alfa, ki smo jo postavili, 0,05. Kot lahko vidimo iz rezultatov naših testov, je p-vrednost manjša od naše alfe. Mi lahko zavrnemo nično hipotezo in s 95-odstotno zaupnostjo sprejmemo našo alternativno hipotezo.

Hvala za branje! Za bolj poglobljeno testiranje hipotez si lahko ogledate ta skupinski projekt na GitHub-u, v katerega sem sodeloval pri testiranju hipotez.

Viri:

Peči, Matthew. „Statistični podatki in„ znanstvena metoda “, pridobljeni iz YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Uvod v SAS. UCLA: Statistična svetovalna skupina. od https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (dostopano maj 16, 2019).

Priročnik inženirske statistike. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm