Likelihoodkvoter och ROC-kurvor

Likelihoodkvoter anger hur starkt ett testresultat förändrar oddsen för sjukdom och möjliggör en explicit bayesiansk övergång från pretest- till posttestsannolikhet. ROC-kurvan beskriver testets diskriminationsförmåga över samtliga möjliga gränsvärden, men klinisk tolkning kräver ett relevant arbetsområde, osäkerhetsmått och hänsyn till konsekvenserna av falskt positiva och falskt negativa resultat.

Diagnostisk information före och efter ett test

Pretestsannolikheten är den uppskattade sannolikheten för den aktuella sjukdomen innan resultatet av ett visst diagnostiskt test är känt. Den kan bygga på prevalens i en relevant population, men bör vanligen individualiseras med hjälp av ålder, symtom, anamnes, statusfynd, tidigare prov och klinisk kontext. Hos en patient med nytillkommen pleuritisk bröstsmärta, takykardi och nyligen genomgången kirurgi är pretestsannolikheten för lungemboli exempelvis högre än den generella prevalensen bland alla patienter med bröstsmärta.

Posttestsannolikheten är sannolikheten för sjukdom efter att det aktuella testutfallet har vägts in. Förändringen från pretest till posttest beror både på testresultatets diagnostiska informationsvärde och på utgångssannolikheten. Samma positiva testresultat kan därför ge hög posttestsannolikhet i en högriskpopulation men låg posttestsannolikhet när sjukdomen är sällsynt. Ett resultat har ingen fristående diagnostisk betydelse utan måste tolkas i relation till den patient och den situation där testet används.

Tre egenskaper bör hållas isär:

• Diskrimination: förmågan att skilja personer med sjukdom från personer utan sjukdom. ROC-kurva och AUC beskriver främst diskrimination.
• Kalibrering: överensstämmelsen mellan angivna sannolikheter och observerade utfall. En modell som anger 20 % risk bör, bland jämförbara patienter med denna prediktion, ha ungefär 20 % observerad sjukdomsfrekvens.
• Klinisk nytta: om användningen av testet eller modellen leder till bättre beslut och patientutfall med rimlig resursåtgång och acceptabla skadeverkningar.

Ett test kan ha hög diskriminationsförmåga men vara dåligt kalibrerat, exempelvis genom att systematiskt överskatta den absoluta risken. Det kan också diskriminera väl utan att förbättra handläggningen, om testresultaten sällan passerar en kliniskt relevant beslutströskel eller om efterföljande behandling saknar effekt. Tolkningen påverkas dessutom av patientspektrumet: samsjuklighet, sjukdomsstadium, vårdnivå och tidigare selektion kan ändra både testvärdenas fördelning och testets praktiska träffsäkerhet.

Utgångspunkt: 2 × 2-tabellen och testegenskaper

När ett test dikotomiseras som positivt eller negativt och jämförs med en referensstandard uppstår fyra möjliga utfall. Tabellen förutsätter att referensstandarden klassificerar sjukdomsstatus på ett tillräckligt korrekt och oberoende sätt.

Sensitiviteten är sannolikheten för positivt test givet att sjukdomen föreligger. Specificiteten är sannolikheten för negativt test givet att sjukdomen inte föreligger:

[ \text{Sensitivitet}=\frac{TP}{TP+FN} ]

[ \text{Specificitet}=\frac{TN}{TN+FP} ]

Komplementen är den falsknegativa andelen, (1-\text{sensitivitet}=FN/(TP+FN)), respektive den falskpositiva andelen, (1-\text{specificitet}=FP/(FP+TN)). Sensitivitet och falsknegativ andel beräknas således bland sjuka, medan specificitet och falskpositiv andel beräknas bland icke sjuka.

Prediktiva värden villkorar i motsatt riktning. Positivt prediktivt värde, PPV, är sannolikheten för sjukdom bland dem som har positivt test, medan negativt prediktivt värde, NPV, är sannolikheten för frånvaro av sjukdom bland dem som har negativt test:

[ PPV=\frac{TP}{TP+FP} ]

[ NPV=\frac{TN}{TN+FN} ]

PPV och NPV varierar kraftigt med sjukdomsprevalensen och patientselektionen. Vid låg prevalens kan antalet falskt positiva bli större än antalet sant positiva även för ett test med hög specificitet. Vid hög prevalens kan ett negativt test ha begränsat NPV trots god sensitivitet. Prediktiva värden från fall–kontrollstudier, där antalet sjuka och kontroller bestämts av studiedesignen, kan därför inte direkt överföras till klinisk praxis utan anpassning till relevant prevalens.

Likelihoodkvoter för dikotoma testresultat

En likelihoodkvot, LR, jämför sannolikheten för ett visst testutfall hos personer med sjukdom med sannolikheten för samma utfall hos personer utan sjukdom. För ett dikotomt test definieras positiv respektive negativ likelihoodkvot som:

[ LR+ = \frac{P(T+ \mid D+)}{P(T+ \mid D-)} = \frac{\text{sensitivitet}}{1-\text{specificitet}} ]

[ LR- = \frac{P(T- \mid D+)}{P(T- \mid D-)} = \frac{1-\text{sensitivitet}}{\text{specificitet}} ]

Ett (LR+=8) betyder att ett positivt resultat är åtta gånger så sannolikt hos sjuka som hos icke sjuka. Ett (LR-=0,2) betyder att ett negativt resultat förekommer en femtedel så ofta hos sjuka som hos icke sjuka. LR beskriver därmed evidensens riktning och styrka och kan användas för att uppdatera sjukdomsodds.

För ett informativt och korrekt orienterat test är (LR+) vanligen minst 1 och (LR-) högst 1. Värdet 1 innebär att utfallet är lika sannolikt hos sjuka och icke sjuka och därför inte förändrar sjukdomsoddsen. Ju större (LR+), desto starkare talar ett positivt test för sjukdom; ju närmare noll (LR-) ligger, desto starkare talar ett negativt test emot sjukdom.

Om (LR+<1) eller (LR->1) kan testets riktning vara omvänd, exempelvis om låga värden snarare än höga värden talar för sjukdom men kodningen anger höga värden som positiva. Ett konsekvent felorienterat test kan i princip vändas. Man måste därför alltid rapportera vilken mätvärdesriktning och vilket gränsvärde som definierar positivt resultat.

Bayesiansk uppdatering steg för steg

Likelihoodkvoter verkar multiplikativt på odds, inte direkt på sannolikheter. En sannolikhet (p) omvandlas först till odds:

[ \text{Pretestodds}=\frac{p}{1-p} ]

Därefter multipliceras pretestoddsen med den likelihoodkvot som motsvarar det observerade resultatet:

[ \text{Posttestodds}=\text{pretestodds}\times LR ]

Slutligen omvandlas posttestoddsen tillbaka till sannolikhet:

[ \text{Posttestsannolikhet} =\frac{\text{posttestodds}}{1+\text{posttestodds}} ]

Anta en pretestsannolikhet på 10 % och ett positivt test med (LR+=8). Pretestoddsen blir (0,10/0,90=0,111). Efter ett positivt resultat är posttestoddsen (0,111\times8=0,889), vilket ger posttestsannolikheten (0,889/(1+0,889)\approx0,47), alltså cirka 47 %. Testet har medfört en stor relativ förändring, men resultatet innebär fortfarande inte att sjukdomen är säker.

Om samma test har (LR-=0,2) ger ett negativt resultat posttestoddsen (0,111\times0,2=0,0222). Posttestsannolikheten blir då (0,0222/(1+0,0222)\approx0,022), alltså cirka 2,2 %. Om 2,2 % ligger under en klinisk exklusionströskel kan sjukdomen betraktas som tillräckligt osannolik; annars behövs ytterligare diagnostik.

Bayes sats kan också uttryckas direkt med sensitivitet, specificitet och prevalens, men oddsformen tydliggör testets roll. Likelihoodkvoten fungerar som en evidensmultiplikator, medan pretestsannolikheten representerar den tidigare kunskapen. Nomogram kan användas för approximativ grafisk omräkning, men digital beräkning minskar avrundningsfel.

Klinisk styrka och beslutströsklar

Följande tumregler används ibland för att beskriva hur mycket en likelihoodkvot vanligen förändrar sannolikheten. Gränserna är pedagogiska och inte absoluta.

Den kliniska betydelsen avgörs dock av om posttestsannolikheten passerar en beslutströskel. Under en exklusions- eller testtröskel är sjukdomen så osannolik att vidare utredning vanligen inte motiveras. Mellan testtröskeln och behandlingströskeln behövs ytterligare diagnostik. Över behandlingströskeln kan sannolikheten vara tillräckligt hög för att behandling eller invasiv bekräftelse ska vara motiverad, beroende på åtgärdens risker.

Trösklarna påverkas av sjukdomens allvar, behandlingsnytta, biverkningar, kostnader och möjligheten att korrigera ett felaktigt beslut. Vid ett snabbt livshotande men behandlingsbart tillstånd accepteras ofta lägre specificitet för att undvika falskt negativa resultat. Om behandlingen däremot innebär betydande toxicitet eller irreversibelt ingrepp krävs vanligen starkare bekräftande evidens.

Samma LR kan därför vara avgörande vid en pretestsannolikhet men otillräcklig vid en annan. Ett negativt resultat med (LR-=0,2) kan sänka en låg pretestsannolikhet under exklusionströskeln men lämna en patient med hög pretestsannolikhet på en fortsatt kliniskt betydande risknivå. På motsvarande sätt kan ett starkt positivt test misslyckas med att nå behandlingströskeln vid mycket låg prevalens.

Intervallspecifika likelihoodkvoter

Kontinuerliga och ordinala test innehåller mer information än vad som återstår efter en enkel uppdelning i positivt och negativt. Ett extremt avvikande resultat kan vara betydligt mer diagnostiskt än ett värde precis över gränsen, trots att båda annars kodas som positiva. Resultatintervallet (i) kan tilldelas en egen likelihoodkvot:

[ LR_i= \frac{P(\text{resultat i intervall }i\mid D+)} {P(\text{resultat i intervall }i\mid D-)} ]

Anta att ett laboratorieprov delas in i lågt, intermediärt, måttligt förhöjt och kraftigt förhöjt värde. Varje intervall får då en separat LR. Ett intermediärt värde kan ha (LR) nära 1 och nästan sakna informationsvärde, medan ett extremt värde kan förekomma mycket oftare hos sjuka och ge en hög LR. På motsvarande sätt kan mycket låga värden ge stark evidens mot sjukdom.

Intervallen bör vara kliniskt begripliga och innehålla tillräckligt många sjuka och icke sjuka för stabil skattning. Många smala, datadrivet valda intervall ger lätt överanpassning. Breda intervall ger stabilare skattningar men förlorar information genom att föra samman resultat med olika evidensstyrka.

En nollcell är särskilt problematisk. Om inget kontrollfall observeras i ett extremt intervall blir nämnaren noll och den skattade LR blir formellt oändlig, men detta bevisar inte perfekt specificitet i populationen. Det kan enbart spegla ett litet stickprov. Exakta eller lämpligt regulariserade metoder, konfidensintervall och validering i ett oberoende material behövs för att undvika överdriven säkerhet.

Sekventiell testning och kombination av fynd

Vid sekventiell testning kan posttestoddsen efter det första testet användas som pretestodds inför nästa:

[ \text{Slutliga odds} =\text{ursprungliga odds}\times LR_1\times LR_2\times \dots ]

Direkt multiplikation är korrekt endast om testresultaten är villkorligt oberoende givet sjukdomsstatus. Det innebär att resultatet av ett test inte ger information om ett annat test när man redan känner till om patienten har eller inte har sjukdomen.

I kliniken är detta villkor ofta otillräckligt uppfyllt. Närbesläktade anamnesfynd kan uttrycka samma patofysiologiska process, flera inflammationsmarkörer kan samvariera och olika radiologiska tecken kan härröra från samma lesion. Om separata LR multipliceras trots sådan korrelation dubbelräknas informationen, varvid posttestsannolikheten blir överdrivet hög eller låg.

Testordningen kan dessutom förändra förutsättningarna. Vätska, antibiotika, antikoagulation eller annan behandling mellan mätningarna kan påverka senare laboratorie- eller bilddiagnostiska resultat. Selektiv beställning av nästa test utifrån tidigare svar förändrar också det undersökta patientspektrumet.

Vid beroende fynd bör man använda empiriskt skattade LR för specifika fyndkombinationer eller en validerad multivariat modell. Exempel är logistiska modeller eller kliniska beslutsregler där korrelationen mellan variabler hanteras i den gemensamma modellskattningen. Modellens output måste därefter bedömas avseende både diskrimination och kalibrering i den population där den ska användas.

ROC-kurvans konstruktion och geometri

För ett test där högre värden talar för sjukdom definierar varje möjligt gränsvärde en sensitivitet och en specificitet. ROC-kurvan avbildar dessa som punkten:

[ (x,y)=(1-\text{specificitet},\ \text{sensitivitet}) ]

X-axeln är alltså falskpositiv andel, FPR, och y-axeln är sant positiv andel, TPR eller sensitivitet. Kurvan beskriver samtliga möjliga dikotomiseringar av det kontinuerliga eller ordinala testet.

Vid en tröskel högre än samtliga observerade värden klassificeras alla som negativa, vilket ger punkten ((0,0)). När tröskeln sänks klassificeras successivt fler som positiva. Sensitiviteten ökar, men i regel ökar även den falskpositiva andelen. När tröskeln ligger under samtliga värden klassificeras alla som positiva och kurvan når ((1,1)).

Den ideala punkten är ((0,1)): 100 % sensitivitet och 100 % specificitet. Diagonalen från ((0,0)) till ((1,1)) motsvarar ett test utan rangordningsförmåga, där TPR och FPR är lika. En kurva under diagonalen tyder ofta på att testets riktning är omvänd; om klassificeringen vänds kan kurvan hamna ovanför diagonalen.

Empiriska ROC-kurvor blir trappstegsformade eftersom bara observerade, distinkta testvärden kan passeras. Bundna värden medför att flera sjuka och icke sjuka kan byta klass samtidigt. Att jämna ut kurvan kan underlätta presentation men bygger på modellantaganden och skapar inte ny information.

Sambandet mellan ROC-kurvan och likelihoodkvoter

För en viss dikotom gräns är ROC-punktens koordinater ((FPR,TPR)). Den positiva likelihoodkvoten är:

[ LR+=\frac{TPR}{FPR} ]

Geometriskt är detta lutningen på sekanten från origo ((0,0)) till den aktuella ROC-punkten. En brant sekant motsvarar hög sensitivitet i förhållande till den falskpositiva andelen och därmed starkare positiv evidens.

Den negativa likelihoodkvoten kan skrivas:

[ LR-=\frac{1-TPR}{1-FPR} =\frac{1-\text{sensitivitet}}{\text{specificitet}} ]

Detta är lutningen på linjen från ROC-punkten till ((1,1)). Ju flackare denna linje är, desto lägre är (LR-) och desto starkare är det negativa resultatets förmåga att minska sjukdomsoddsen.

För ett kontinuerligt test med tätheten (f_1(x)) hos sjuka och (f_0(x)) hos icke sjuka är ROC-kurvans lokala lutning vid tröskeln (x):

[ \frac{dTPR}{dFPR}=\frac{f_1(x)}{f_0(x)} ]

Den lokala lutningen är alltså likelihoodkvoten för ett infinitesimalt litet område kring det aktuella testvärdet. Detta knyter ROC-geometrin till intervallspecifika LR och till likelihoodkvottestet. Enligt Neyman–Pearsons lemma ger klassificering utifrån likelihoodkvoten maximal sensitivitet för en given tillåten falskpositiv andel, under de antaganden där fördelningarna är kända.

AUC och andra sammanfattande diskriminationsmått

AUC, arean under ROC-kurvan, definieras som integralen av sensitiviteten över den falskpositiva andelen:

[ AUC=\int_0^1 TPR(FPR),dFPR ]

AUC kan också tolkas som sannolikheten att en slumpmässigt vald sjuk person får ett högre testvärde än en slumpmässigt vald icke sjuk person, förutsatt att högre värden talar för sjukdom. Bundna sjuk–frisk-par räknas vanligen som 0,5. Denna tolkning visar att AUC är ett rangordningsmått, inte sannolikheten att en enskild patient klassificeras korrekt vid en viss gräns.

Empirisk AUC kan skattas med trapezoidal integration mellan efterföljande ROC-punkter. Samma icke-parametriska storhet kan erhållas genom Mann–Whitney U-statistiken, normaliserad efter antalet möjliga par mellan sjuka och icke sjuka. AUC är invariant under strikt monotona transformationer av testvärdet eftersom rangordningen bevaras.

Full AUC väger in även ROC-regioner som saknar kliniskt intresse. Om testet exempelvis bara är användbart vid mycket hög specificitet bör en partiell AUC rapporteras över det förutbestämda FPR-intervallet. Om partiell AUC standardiseras måste metod och referensskala anges, eftersom olika standardiseringar inte är direkt jämförbara.

Gini-måttet kan härledas från AUC:

[ Gini=2\times AUC-1 ]

Då motsvarar AUC 0,5 ett Gini-värde på 0 och AUC 1 ett Gini-värde på 1. En enda AUC kan emellertid dölja korsande ROC-kurvor: två test kan ha samma totalarea men mycket olika prestanda i det kliniskt relevanta området.

Val av beslutsgräns

En vanlig statistisk metod är att maximera Youdens J:

[ J=\text{sensitivitet}+\text{specificitet}-1 ]

Detta motsvarar den största vertikala skillnaden mellan ROC-kurvan och slumpdiagonalen. Kriteriet behandlar i praktiken sensitivitet och specificitet symmetriskt och tar inte i sig hänsyn till prevalens eller skillnader i klinisk kostnad mellan falskt negativa och falskt positiva resultat.

En annan geometrisk metod väljer den ROC-punkt som har minsta euklidiska avstånd till idealpunkten ((0,1)):

[ d=\sqrt{FPR^2+(1-TPR)^2} ]

Detta kriterium behöver inte välja samma gräns som Youdens J. Båda är deskriptiva optimeringsregler och bör inte okritiskt likställas med klinisk optimalitet.

Ofta är ett förutbestämt prestationskrav mer relevant. För ett exklusionstest kan gränsen väljas för att uppnå en specificerad hög sensitivitet, varefter den resulterande specificiteten och (LR-) rapporteras. För ett bekräftande test kan hög specificitet prioriteras, med efterföljande redovisning av sensitivitet och (LR+).

Ett fullständigt beslutsanalytiskt val väger samman prevalens eller individuell pretestsannolikhet, behandlingsnytta, komplikationer, kostnader, resursåtgång och konsekvenserna av båda feltyperna. Även följdutredning måste inkluderas: ett falskt positivt screeningresultat kan leda till strålning, invasiv provtagning, oro och överdiagnostik, medan ett falskt negativt resultat kan fördröja effektiv behandling. Gränsen bör om möjligt specificeras före analys och därefter valideras externt.

Osäkerhet, jämförelser och validering

Sensitivitet och specificitet är skattade proportioner och bör rapporteras med konfidensintervall, vanligen 95-procentiga. Precisionen beror på antalet sjuka respektive icke sjuka, inte enbart på det totala stickprovet. Ett litet antal sjuka ger osäker sensitivitet även om kontrollgruppen är stor, medan få icke sjuka ger osäker specificitet.

Konfidensintervall för LR kan beräknas på logaritmisk skala och transformeras tillbaka. Små celltal ger breda och asymmetriska intervall. Nollceller kan göra punktestimatet noll eller oändligt och kräver särskild metodik; det är olämpligt att rapportera ett oändligt LR utan att samtidigt tydliggöra den stora osäkerheten och stickprovets begränsning.

AUC bör också åtföljas av konfidensintervall. DeLong-metoden används ofta för icke-parametrisk inferens, medan bootstrap kan användas för AUC, partiell AUC och komplexa tröskelmått. Vid jämförelse av två test som utförts på samma patienter är AUC-skattningarna parade och korrelerade; analysen måste bevara denna parning.

Att välja gränsvärde och bedöma dess prestanda i samma material ger optimism. Det observerade maximumet för Youdens J blir typiskt bättre än prestandan i nya patienter. Intern resampling med bootstrap eller korsvalidering kan uppskatta och korrigera optimism, men ersätter inte extern validering i en självständig population.

Flera mätningar från samma patient, flera lesioner per undersökning eller upprepade bedömningar av samma bild bryter mot antagandet om oberoende observationer. Standardfel och konfidensintervall blir då för små om klustringen ignoreras. Analysen behöver patientbaserad resampling, klusterrobusta metoder eller hierarkiska modeller som motsvarar datans struktur.

Felkällor, begränsningar och klinisk rapportering

Diagnostiska noggrannhetsstudier är känsliga för systematiska fel. Spektrumbias uppstår när studien främst jämför uppenbart sjuka patienter med helt friska kontroller; separationen blir då större än i den kliniska gråzon där testet ska användas. Selektionsbias uppstår exempelvis om endast remitterade, inneliggande eller på annat sätt utvalda patienter inkluderas.

Partiell verifikation innebär att bara en del av deltagarna får referensstandard, ofta beroende på indextestets resultat. Differentiell verifikation innebär att olika referensstandarder används för olika patienter. Båda kan snedvrida sensitivitet och specificitet. Vid inkorporationsbias ingår indextestet i själva referensstandarden, vilket skapar ett artificiellt samband och övervärderar noggrannheten.

En bristfällig referensstandard felklassificerar sjukdomsstatus. Problemet kan vara särskilt stort vid tillstånd utan entydigt facit, där expertpanel, klinisk uppföljning eller sammansatta kriterier används. Referensbedömare och indextestbedömare bör vara blindade för varandras resultat när detta är möjligt.

Indeterminata resultat får inte rutinmässigt uteslutas. Om svårtolkade prover, bilder med otillräcklig kvalitet eller intermediära testvärden avlägsnas kan testets praktiska prestanda framstå som bättre än den är. Antalet indeterminata resultat, deras orsaker och hur de hanterats i huvud- och känslighetsanalyser bör redovisas. Detsamma gäller saknade data och bortfall.

Sensitivitet, specificitet och LR är matematiskt definierade inom grupperna sjuka respektive icke sjuka och beror därför inte direkt på prevalensen på samma sätt som PPV och NPV. De är ändå inte automatiskt transportabla mellan populationer. Sjukdomsstadium, differentialdiagnoser, behandling före testning, provhantering, mätteknik och val av referensstandard kan ändra testvärdenas villkorade fördelningar och därmed även LR och ROC-kurva.

En kliniskt användbar rapport bör minst ange:

• patientpopulation, inklusionskriterier och klinisk vårdnivå;
• indextest, mätmetod, riktning och exakt gränsvärde;
• referensstandard och tidsintervall mellan testen;
• fullständiga TP-, FP-, FN- och TN-tal;
• sensitivitet och specificitet med 95-procentiga konfidensintervall;
• (LR+) och (LR-), eller intervallspecifika LR, med 95-procentiga konfidensintervall;
• relevant pretestsannolikhet samt beräknade posttestsannolikheter;
• ROC-kurva, AUC med osäkerhetsmått och kliniskt relevant ROC-region;
• hantering av indeterminata resultat, bortfall och saknade data;
• om gränsen var förutbestämd, datadrivet vald eller externt validerad.

Hög AUC garanterar varken god kalibrering, högt positivt prediktivt värde eller klinisk patientnytta. För sällsynta sjukdomar kan ett test med hög AUC ändå ge många falskt positiva resultat. Slutlig bedömning måste därför integrera diskrimination, absolut risk, kalibrering, beslutströsklar, resurskonsekvenser och evidens för att teststyrd handläggning förbättrar relevanta patientutfall.

Källor

• Receiver operating characteristic
• Category:Receiver operating characteristic
• Receiver operating characteristic
• Bild: File:Distributions of the Observed signal strength v2.svg — Masato8686819, CC BY-SA 4.0
• Bild: File:ROC curve.svg — Masato8686819, CC BY-SA 3.0