Hypotesprövning och p-värden

Ett p-värde är sannolikheten, beräknad under en specificerad nollhypotes och analysmodell, för ett testutfall minst lika extremt som det observerade. Det styr inte ensamt slutsatsen: korrekt tolkning kräver förhandsbestämda hypoteser och felrisker, giltig studiedesign samt samtidig bedömning av effektstorlek, precision och klinisk relevans.

Hypotesprövningens syfte och inferentiella ram

Deskriptiv statistik sammanfattar observerade data genom exempelvis medelvärde, median, standardavvikelse, kvartiler och frekvenser. Om 200 patienter i en studie har ett genomsnittligt systoliskt blodtryck på 142 mmHg är detta ett deskriptivt påstående om just dessa patienter. Statistisk inferens går längre: stickprovet används för att dra slutsatser om en bakomliggande population, datagenererande process eller kontrafaktisk behandlingseffekt.

Inferensen kräver en sannolikhetsmodell för hur stickprovet kunde ha varierat vid upprepad provtagning. Modellen omfattar bland annat utfallsfördelning, oberoende eller beroende mellan observationer, eventuell randomiseringsmekanism och hur okända parametrar skattas. Hypotesprövningen undersöker om observerade data är förenliga med en särskilt specificerad del av modellen, nollhypotesen, genom att jämföra ett observerat testutfall med dess fördelning under denna hypotes.

P-värdet är därför en frekventistisk och modellberoende storhet. Det beskriver hur ofta minst lika extrema testutfall skulle uppstå i hypotetiska upprepningar när nollhypotesen och övriga antaganden gäller. Det är inte sannolikheten att nollhypotesen är sann, eftersom den frekventistiska modellen behandlar populationsparametrar som fasta men okända. Samma data kan dessutom ge olika p-värden med olika teststatistik, ensidig respektive tvåsidig frågeställning eller olika modeller för varians och beroende.

Nollhypotes, alternativhypotes och estimand

En statistisk analys bör utgå från en estimand: den populationsstorhet som frågan gäller. Det kan vara medelvärdesskillnaden i systoliskt blodtryck efter 12 veckor, relativ risk för stroke inom ett år eller hazardkvoten under en specificerad uppföljningsperiod. Estimanden måste definiera population, behandlingar, utfall, tidpunkt och hantering av händelser som behandlingsbyte, död eller avbruten uppföljning.

En enkel eller punktformig nollhypotes specificerar parametern fullständigt, exempelvis (H_0:\mu_T-\mu_C=0) eller (H_0:RR=1). En sammansatt nollhypotes omfattar flera parametervärden, exempelvis (H_0:\mu_T-\mu_C\leq 0). För en sammansatt hypotes konstrueras p-värdet vanligen så att typ I-felrisken kontrolleras för alla parametervärden inom nollområdet, ofta genom beräkning vid det minst gynnsamma gränsvärdet.

Ett tvåsidigt alternativ används när avvikelser i båda riktningarna är relevanta. Ett ensidigt alternativ måste vara motiverat och fastställt före datainspektion; en oväntad effekt i motsatt riktning kan annars förbises. Vid non-inferiority och ekvivalens är nollhypotesen inte ”ingen skillnad”. Marginalen (\Delta) ska vara kliniskt försvarbar, baserad på tidigare effektdata och vald så att en väsentlig del av kontrollbehandlingens nytta bevaras. Ekvivalens prövas ofta med två ensidiga test, där båda måste förkasta respektive nollhypotes.

Teststatistik och fördelning under nollhypotesen

Data reduceras till en teststatistik (T) som mäter avvikelsen från nollhypotesen. För en skattad skillnad (\hat\theta) är en vanlig form

[ T=\frac{\hat\theta-\theta_0}{SE(\hat\theta)}, ]

där (\theta_0) är nollvärdet och (SE) skattningens standardfel. Standardfelet beskriver skattningens variation mellan hypotetiska stickprov. Det minskar vanligen proportionellt mot (1/\sqrt n), vilket innebär att samma observerade effekt ger större teststatistik i ett större stickprov.

Frihetsgrader anger hur många oberoende informationskomponenter som återstår efter parameterskattning. Ett tvågruppstest med poolad varians har exempelvis (n_1+n_2-2) frihetsgrader. T-fördelningen har tyngre svansar än normalfördelningen eftersom standardavvikelsen är skattad; skillnaden avtar när frihetsgraderna ökar.

Parametriska test kräver antaganden om bland annat fördelningsform, varians och oberoende. T-testet är ofta robust mot måttlig icke-normalitet i stora, balanserade stickprov men kan påverkas av extremvärden, uttalad skevhet och heteroskedasticitet. Olika test kan också vara känsliga för olika alternativ: ett test av medelvärdesskillnad behöver inte upptäcka skillnader i varians eller fördelningsform, medan ett omnibus-test kan reagera på flera slags avvikelser utan att ange vilken som föreligger.

P-värdets definition och beräkning av svansarea

För observerad teststatistik (t_{\text{obs}}) definieras p-värdet som sannolikheten, under (H_0), för ett testutfall minst lika extremt som det observerade. ”Extremt” bestäms av teststatistiken och den i förväg angivna alternativhypotesen:

[ p=P(T\text{ minst lika extrem som }t_{\text{obs}}\mid H_0). ]

Om (F_0(t)=P(T\leq t\mid H_0)) är referensfördelningens fördelningsfunktion blir ett högersidigt p-värde (p=1-F_0(t_{\text{obs}})) för en kontinuerlig fördelning. Ett vänstersidigt p-värde är (p=F_0(t_{\text{obs}})). Vid ett symmetriskt tvåsidigt test används ofta

[ p=P(|T|\geq |t_{\text{obs}}|\mid H_0) =2{1-F_0(|t_{\text{obs}}|)}. ]

Formeln ”två gånger den mindre ensidiga svansarean” fungerar för många kontinuerliga, symmetriska referensfördelningar. Vid diskreta eller asymmetriska fördelningar finns flera tvåsidiga definitioner: sannolikheter kan summeras för utfall med teststatistik minst lika extrem, för utfall med sannolikhetsmassa högst den observerade eller genom dubblering av en svans. Metoderna kan ge olika p-värden, varför testdefinition och programvarans konvention bör anges.

Signifikansnivå, kritiskt område och statistiskt beslut

Signifikansnivån (\alpha) är en i förväg vald övre gräns för sannolikheten att förkasta en sann nollhypotes. Värdet 0,05 är en konvention, inte en naturlag. Ett lägre (\alpha), exempelvis 0,01, kan vara rimligt om ett falskt positivt resultat kan leda till skadlig behandling, kostsam implementering eller ett definitivt regulatoriskt beslut.

Det kritiska området består av de testutfall som medför förkastande av (H_0). För ett tvåsidigt z-test med (\alpha=0,05) är området (z\leq-1,96) eller (z\geq1,96). Regeln (p\leq\alpha) är ekvivalent med att den observerade teststatistiken ligger i detta område, förutsatt att p-värde och kritiskt område bygger på samma test.

Om (p\leq\alpha) förkastas (H_0) enligt beslutskriteriet. Om (p>\alpha) kan nollhypotesen inte förkastas. Det senare betyder inte att den accepterats eller visats vara sann; data kan vara förenliga med både nollhypotesen och kliniskt viktiga effekter, särskilt när standardfelet är stort. Evidens för frånvaro av en relevant effekt kräver ett precist konfidensintervall eller ett explicit ekvivalenstest.

Typ I-fel, typ II-fel och statistisk styrka

Typ I-fel innebär att en sann nollhypotes förkastas. För ett korrekt kalibrerat test är den långsiktiga risken högst (\alpha). Typ II-fel innebär att (H_0) inte förkastas trots att en specificerad alternativ effekt gäller; dess sannolikhet betecknas (\beta). Styrkan är (1-\beta), alltså sannolikheten att få ett signifikant resultat om den effekt som låg till grund för beräkningen verkligen föreligger.

Styrka beräknas mot en bestämd effektstorlek, inte mot ”alternativhypotesen” i allmänhet. En studie kan ha hög styrka för en stor skillnad men låg styrka för den minsta kliniskt relevanta skillnaden. Planeringen bör därför utgå från estimand, klinisk marginal, varians, fördelningsantaganden, allokering, bortfall och eventuell multiplicitetsjustering.

Låg styrka ger fler uteblivna fynd men påverkar också de fynd som blir signifikanta. När endast ovanligt stora slumpmässiga avvikelser passerar tröskeln tenderar observerade effekter bland de signifikanta resultaten att vara överdrivna, ibland med fel riktning. Detta selektionsfenomen bidrar till instabila resultat och sämre replikation även när den nominella typ I-felrisken är korrekt.

P-värdets fördelning vid sann och falsk nollhypotes

P-värdet är självt en slumpvariabel. För ett högersidigt test med kontinuerlig teststatistik och enkel sann (H_0) gäller (p=1-F_0(T)). Enligt sannolikhetsintegraltransformen är (F_0(T)) likformigt fördelad på intervallet 0–1, och därför även (1-F_0(T)).

Följaktligen gäller

[ P(p\leq a\mid H_0)=a,\qquad 0\leq a\leq1. ]

Om (\alpha=0,05) kommer alltså 5 procent av oberoende upprepningar att ge (p\leq0,05) när den enkla nollhypotesen och samtliga modellantaganden är sanna. En enskild studies p-värde är däremot inte en observerad typ I-felrisk.

För diskreta test kan endast vissa p-värden förekomma. Exakta p-värden blir då ofta konservativa: (P(p\leq a\mid H_0)\leq a). Sammansatta nollhypoteser kan ge samma egenskap när beräkningen använder det minst gynnsamma parametervärdet. Under (H_1) förskjuts p-värdesfördelningen mot noll; koncentrationen nära noll ökar med effektstorlek, stickprovsstorlek och styrka. Styrkan vid nivån (\alpha) är just (P(p\leq\alpha\mid H_1)).

Exakta, asymptotiska och simuleringsbaserade metoder

Exakta test använder den ändliga stickprovsfördelningen under (H_0). Ett exakt binomialtest summerar binomiala sannolikheter, och Fishers exakta test betingar på marginalerna i en 2×2-tabell. De är särskilt användbara vid små stickprov och glesa data, men diskreta sannolikheter gör dem ofta konservativa. Ett mid-p-värde subtraherar vanligen hälften av sannolikhetsmassan för det observerade utfallet; det minskar konservatismen men garanterar inte strikt typ I-felkontroll för varje parameterläge.

Modellbaserade test kan vara exakta under sina antaganden eller asymptotiska. T-testets referensfördelning är exakt för normalfördelade, oberoende observationer i den klassiska modellen. Wald-, score-, likelihoodkvot- och Pearson-(\chi^2)-test använder ofta normal- eller chi-två-approximationer. Tillförlitligheten kräver tillräcklig information, korrekt modell, ändlig varians och vid kontingenstabeller tillräckliga förväntade cellfrekvenser; som vägledning används ibland att ingen förväntad frekvens ska understiga 1 och högst 20 procent ska understiga 5.

Permutationsmetoder kräver utbytbarhet under nollhypotesen. Fullständig enumeration ger ett exakt randomiseringstest, medan slumpmässigt valda permutationer ger en Monte Carlo-approximation. Om (B) simuleringar görs kan ett giltigt estimat skrivas ((r+1)/(B+1)), där (r) är antalet simulerade statistikor minst lika extrema som den observerade. Monte Carlo-felet minskar endast med (1/\sqrt B), varför antal simuleringar, slumpfrö och osäkerhet bör redovisas. Bootstrap är användbart för standardfel och intervall men kräver särskild nollcentrering för att ge ett korrekt hypottest.

Genomräknade kliniska exempel

Antag att 50 patienter per grupp randomiseras till blodtrycksbehandling eller kontroll. Medelförändringen är 4 mmHg större i behandlingsgruppen, uttryckt som (\hat\delta=-4) mmHg när lägre värde gynnar behandling. Standardavvikelsen är 10 mmHg i båda grupperna. För (H_0:\delta=0) mot (H_1:\delta\neq0) används ett tvåsidigt poolat t-test:

[ SE=\sqrt{\frac{10^2}{50}+\frac{10^2}{50}}=2,00,\qquad t=\frac{-4}{2,00}=-2,00. ]

Frihetsgraderna är (50+50-2=98). Den tvåsidiga svansarean är (p\approx0,048), så (H_0) förkastas vid (\alpha=0,05). Med 48 patienter per grupp men samma observerade skillnad och standardavvikelse blir (SE=\sqrt{100/48+100/48}=2,04), (t=-1,96), 94 frihetsgrader och (p\approx0,053). Skillnaden mellan resultaten är marginell och motiverar inte helt olika kliniska slutsatser.

Som binärt exempel inträffar en komplikation hos 30 av 100 behandlade och 45 av 100 kontroller. Estimaten är riskskillnad (0,30-0,45=-0,15) och relativ risk (0,30/0,45=0,67). För testet (H_0:p_T=p_C) är den poolade risken (75/200=0,375), och

[ SE_0=\sqrt{0,375(1-0,375)(1/100+1/100)}=0,0685, ] [ z=-0,15/0,0685=-2,19. ]

Det tvåsidiga p-värdet är cirka 0,028. Motsvarande Pearson-statistik är (\chi^2=z^2\approx4,80) med 1 frihetsgrad. Nollhypotesen förkastas vid 0,05, men resultatet bör rapporteras som en absolut riskreduktion på 15 procentenheter och relativ risk 0,67, inte enbart som ”signifikant”.

Exemplen visar att p-värdet bestäms av kvoten mellan observerad effekt och standardfel. En skillnad på 4 mmHg kan vara statistiskt övertygande i en stor studie men osäker i en liten. Omvänt kan en mycket liten, kliniskt oviktig skillnad få ett mycket lågt p-värde när stickprovet är stort. Värdena 0,048 och 0,053 representerar nästan samma grad av kompatibilitet med nollmodellen trots att den binära beslutsregeln placerar dem på var sin sida om 0,05.

Konfidensintervall, effektstorlek och klinisk relevans

För kompatibla tvåsidiga test och konfidensintervall gäller en dualitet: ett 95-procentigt intervall exkluderar nollvärdet exakt när det tvåsidiga p-värdet är mindre än 0,05. Intervallet kan konstrueras genom att samla alla parametervärden som inte skulle förkastas på femprocentsnivån. Likvärdigheten kräver samma modell, standardfel och approximationsmetod.

Effektmåttet bör följa estimanden. Absoluta mått omfattar medelvärdesskillnad, riskskillnad och number needed to treat, medan relativa mått omfattar relativ risk, oddskvot och hazardkvot. Cohen's (d) standardiserar en medelvärdesskillnad med en standardavvikelse; konventionerna 0,2, 0,5 och 0,8 har kallats liten, måttlig respektive stor effekt, men är inte universella kliniska gränser. Klinisk tolkning bör om möjligt göras på originalskalan.

P-värdet anger varken effektens storlek, skattningens precision, kausalitet eller klinisk betydelse. Ett konfidensintervall visar vilka effektstorlekar som är kompatibla med data och kan jämföras med en minimalt kliniskt relevant skillnad. Ett icke-signifikant resultat vars intervall omfattar både betydande nytta och betydande skada är frånvaro av tillräcklig evidens, inte ekvivalens. Ekvivalens kräver att hela intervallet ligger inom förhandsdefinierade kliniska marginaler.

Multipla hypoteser och selektion

Vid (k) oberoende test på nivån (\alpha), där samtliga nollhypoteser är sanna, är sannolikheten för minst ett falskt positivt resultat

[ FWER=1-(1-\alpha)^k. ]

För tio test med (\alpha=0,05) blir detta (1-0,95^{10}\approx0,401), alltså cirka 40 procent. Beroende mellan testen ändrar det exakta värdet men undanröjer inte problemet.

Multiplicitetsplanen ska omfatta primära utfall, doser, tidpunkter, subgrupper, post hoc-kontraster och upprepade interimssanalyser. Interimstester kräver exempelvis alfa-spending eller gruppsekventiella gränser. FDR-kontroll lämpar sig ofta för explorativa högdimensionella analyser, medan strikt FWER-kontroll vanligen är mer relevant för konfirmatoriska kliniska slutsatser där ett enda falskt positivt fynd kan vara avgörande.

Studiedesign, modellantaganden och andra validitetshot

Ett matematiskt korrekt p-värde kan vara vetenskapligt missvisande. Confounding i en observationsstudie kan ge en mycket precis association utan kausal behandlingseffekt. Selektionsbias, felklassificering, systematiskt mätfel och informativt bortfall kan flytta estimatet; ett litet p-värde kring ett snedvridet estimat gör inte analysen valid.

Oberoende observationer är ett centralt antagande i många standardtest. Upprepade mätningar, matchade par, patienter inom kliniker och deltagare inom hushåll skapar korrelation. Om klustring ignoreras underskattas standardfelet ofta. Bland möjliga lösningar finns parade test, mixed-effects-modeller, generaliserade skattningsekvationer och klusterrobusta standardfel. Vid överdispersion i binomial- eller Poissonmodeller måste variansmodellen anpassas.

Randomiserade studier bör normalt analyseras enligt intention-to-treat för att bevara randomiseringens prognostiska balans. Saknade data kräver antaganden om bortfallsmekanismen och ofta multipel imputering eller känslighetsanalys. Robust standardfel korrigerar inte confounding, felaktig funktionell form eller selektionsbias. Stoppregel, adaptiv randomisering, val av dos och datadrivna modelländringar måste ingå i inferensen; annars kan den faktiska typ I-felrisken överstiga den nominella.

Vanliga feltolkningar och tveksamma analyspraktiker

Följande tolkningar är felaktiga:

• (p) är inte (P(H_0\mid data)).
• (1-p) är inte sannolikheten att (H_1) är sann.
• (p) är inte sannolikheten att resultatet ”beror på slumpen”.
• (p=0,05) innebär inte 5 procents sannolikhet att resultatet misslyckas vid replikation.
• Ett stort p-värde visar inte att behandlingarna är likvärdiga.

P-hacking innebär att analytisk flexibilitet används tills ett önskat p-värde erhålls: val mellan utfall, tidpunkter, kovariater, transformationer, subgrupper, exklusionsregler eller stopp efter upprepad datainspektion. HARKing innebär att en hypotes formulerad efter att resultaten setts presenteras som förhandsbestämd. Avrundning av exempelvis (p=0,054) till 0,05 eller rapportering som (p<0,05) döljer viktig information.

Publication bias och selektiv utfallsrapportering gör att signifikanta resultat överrepresenteras i litteraturen, med överskattade effekter i metaanalyser som följd. Slutligen är skillnaden mellan ”signifikant” och ”inte signifikant” inte automatiskt signifikant. Om en behandlingseffekt har (p=0,04) hos män och (p=0,20) hos kvinnor krävs ett direkt interaktionstest för att belägga en könsskillnad; jämförelse av separata p-värden räcker inte.

Rapportering, reproducerbarhet och alternativa evidensmått

Rapportera i första hand estimat och osäkerhet, kompletterat med p-värdet. En fullständig redovisning bör ange estimand, noll- och alternativhypotes, ensidig eller tvåsidig riktning, teststatistik, frihetsgrader, exakt p-värde, effektmått, 95-procentigt konfidensintervall, analysmodell och relevanta antagandekontroller. Mycket små värden anges exempelvis som (p<0,001), aldrig som (p=0).

Samtliga förhandsdefinierade utfall och analyser bör redovisas, tillsammans med multiplicitetsstrategi, bortfallshantering, känslighetsanalyser och eventuella avvikelser från protokollet. Förregistrering, publicerat analysprotokoll, versionsangiven programkod och reproducerbara dataflöden minskar utrymmet för selektion. Ett p-värde bör inte beskrivas enbart med etiketterna ”signifikant” eller ”icke-signifikant”.

Historiskt betonade Fisher p-värdet som ett kontinuerligt mått på dataoförenlighet med (H_0), medan Neyman–Pearson formaliserade beslut med förhandsbestämda (\alpha), (\beta) och alternativa hypoteser. Modern praxis blandar ofta systemen. ASA har därför varnat för mekanisk dikotomisering och framhållit att ingen enskild statistisk storhet ensam kan avgöra en vetenskaplig slutsats.

Alternativa eller kompletterande mått besvarar andra frågor. En likelihoodkvot jämför hur väl två specificerade parametervärden eller modeller förklarar data. En Bayesfaktor jämför marginal likelihood under modeller och kräver priorfördelningar; posteriora intervall ger sannolikhetsutsagor om parametrar givet modell och prior. S-värdet (S=-\log_2(p)) uttrycker p-värdet på en logaritmisk skala: (p=0,05) motsvarar cirka 4,32 bitar av surprisal mot nollmodellen. Transformationen förbättrar inte studiedesignen och gör inte p-värdet till en hypotes­sannolikhet, men kan göra storleksordningar lättare att jämföra.

Källor

• P-value
• P-värde
• Category:P-value
• P-value
• Bild: File:Null hypothesis testing.png — MTSofonea, CC BY-SA 4.0
• Bild: File:P value vs alpha error.svg — Erzbischof, CC BY-SA 3.0
• Bild: File:Multiple binomial testing.svg — GrandEscogriffe, CC BY-SA 4.0