Test Performance and Bayesian Reasoning

Ett diagnostiskt test svarar aldrig på frågan om patienten har sjukdomen. Det ändrar bara sannolikheten för att hon har den. Hur mycket den ändras beror på två saker: hur bra testet är, och hur sannolik diagnosen var innan testet togs. Den andra faktorn glöms systematiskt bort, både av studenter och av erfarna kliniker, vilket leder till överdiagnostik vid låg prevalens och till falsk trygghet vid hög. Bayesiansk resonemang är det verktyg som gör detta beräkningsbart i stället för intuitivt.

Sammanfattning

Sensitivitet och specificitet är testets egenskaper och beskriver hur testet beter sig hos personer med respektive utan sjukdomen. De är i stort sett oberoende av prevalens men beror på sjukdomens svårighetsgrad i den undersökta populationen.

Positivt och negativt prediktivt värde är det kliniskt intressanta, men de är starkt prevalensberoende och kan därför inte överföras från en studiepopulation till en annan. Samma test har helt olika prediktivt värde på akutmottagningen och i ett screeningprogram.

Likelihood ratio kombinerar sensitivitet och specificitet till ett enda tal som kan multipliceras med pretest-oddset. Detta är den praktiskt användbara formen av Bayes sats vid sängkanten. En LR över 10 eller under 0,1 ändrar sannolikheten påtagligt; en LR mellan 0,5 och 2 gör i stort sett ingen skillnad.

Vid låg prevalens dominerar falskt positiva svar även med ett utmärkt test. Med prevalens 1 procent, sensitivitet 99 procent och specificitet 95 procent är bara ungefär en av sex positiva testade faktiskt sjuk.

Ett test är motiverat bara om resultatet kan flytta sannolikheten över en beslutströskel. Om man skulle behandla oavsett svar, eller avstå oavsett svar, tillför testet ingenting utom kostnad, tid och risk för bifynd.

Studier har upprepade gånger visat att både läkare och annan vårdpersonal systematiskt överskattar sjukdomssannolikhet, både före och efter testning, och att tolkningen av diagnostisk information ofta är felaktig.

Fyrfältstabellen och de grundläggande måtten

All klassisk testteori utgår från en fyrfältstabell där testresultatet (positivt eller negativt) korsas med den sanna sjukdomsstatusen enligt en referensmetod. De fyra cellerna är sant positiva, falskt positiva, falskt negativa och sant negativa.

Sensitivitet är andelen sjuka som testet identifierar, alltså sant positiva delat med alla sjuka. Ett test med hög sensitivitet ger få falskt negativa och är därför bra på att utesluta sjukdom när det utfaller negativt.

Specificitet är andelen friska som testet friskförklarar, alltså sant negativa delat med alla friska. Ett test med hög specificitet ger få falskt positiva och är därför bra på att bekräfta sjukdom när det utfaller positivt.

Minnesreglerna SnNout och SpPin fångar detta: ett mycket sensitivt test som är negativt talar starkt emot sjukdomen, medan ett mycket specifikt test som är positivt talar starkt för den. Reglerna är användbara men grova, eftersom de bortser från pretest-sannolikheten.

Sensitivitet och specificitet är i regel stabila över populationer med olika prevalens, men de är inte konstanter. De beror på sjukdomens spektrum: ett test som utvärderats hos patienter med uttalad, långt gången sjukdom uppvisar högre sensitivitet än samma test använt på tidiga, lindriga fall. Detta kallas spektrumbias och är en av de vanligaste orsakerna till att ett test presterar sämre i klinisk vardag än i den ursprungliga studien.

Prediktiva värden och prevalensberoendet

Kliniskt är frågan inte "hur beter sig testet hos sjuka" utan "vad betyder det här svaret för den här patienten". Det besvaras av prediktiva värden.

Positivt prediktivt värde (PPV) är andelen av dem med positivt test som verkligen har sjukdomen. Negativt prediktivt värde (NPV) är andelen av dem med negativt test som verkligen är friska.

Båda beror direkt på hur vanlig sjukdomen är i den population testet används på. Detta är den mest kontraintuitiva delen av testteorin och den vanligaste källan till kliniska feltolkningar.

Ett räkneexempel gör poängen tydlig. Anta ett test med sensitivitet 99 procent och specificitet 95 procent, tillämpat i en population där 1 procent har sjukdomen. Av 10 000 testade har 100 sjukdomen. Testet fångar 99 av dem. Av de 9 900 friska får 5 procent, alltså 495 personer, ett falskt positivt svar. Totalt blir 594 personer positiva, varav 99 verkligen är sjuka. PPV blir därmed knappt 17 procent: fem av sex positiva besked är falsklarm, trots att testet i sig är utmärkt.

Om samma test i stället används i en population där prevalensen är 50 procent, till exempel efter noggrann klinisk selektion, blir PPV omkring 95 procent. Testet är oförändrat; det är populationen som skiljer.

Detta förklarar varför screening av friska befolkningar är svårt, varför breda provpaket utan klinisk frågeställning genererar mer utredning än nytta, och varför det är fel att citera ett prediktivt värde från en studie utan att först jämföra prevalensen i studien med prevalensen hos den egna patientgruppen.

En besläktad fälla gäller referensintervall. Ett normalvärde definieras vanligen så att 95 procent av friska personer ligger inom intervallet, vilket innebär att var tjugonde frisk person per definition får ett avvikande värde. Beställer man tjugo oberoende analyser på en frisk person är sannolikheten att minst en faller utanför referensintervallet omkring 64 procent. Ett avvikande värde i ett brett provpaket utan frågeställning är därför oftast brus, inte fynd.

Likelihood ratio och Bayes sats

Likelihood ratio (LR) är det mått som gör bayesianskt resonemang praktiskt användbart, eftersom det gäller för ett enskilt testresultat och kan tillämpas oavsett prevalens.

LR för ett positivt test är sensitivitet delat med (1 minus specificitet). Den anger hur många gånger vanligare ett positivt svar är hos sjuka än hos friska.

LR för ett negativt test är (1 minus sensitivitet) delat med specificitet.

Bayes sats får då en enkel form när sannolikheten uttrycks som odds:

posttest-odds = pretest-odds × LR

Odds och sannolikhet konverteras mellan varandra genom att odds är sannolikheten delat med ett minus sannolikheten, och sannolikheten är oddset delat med ett plus oddset.

En grov tolkningsskala underlättar. En LR över 10 eller under 0,1 innebär en stor och ofta avgörande förändring av sannolikheten. LR mellan 5 och 10, eller mellan 0,1 och 0,2, ger en måttlig förändring. LR mellan 2 och 5, eller mellan 0,2 och 0,5, ger en liten men ibland relevant förändring. LR mellan 0,5 och 2 ändrar i praktiken ingenting, vilket innebär att testet inte borde ha tagits om det var det enda skälet.

Ett kliniskt exempel

Ett arbetsprov för misstänkt kranskärlssjukdom har ungefär 60 procents sensitivitet och 75 procents specificitet. LR för ett positivt arbetsprov blir då 0,60 delat med 0,25, alltså 2,4. Det är en liten förändring.

Anta en patient där den kliniska bedömningen ger en pretest-sannolikhet på 40 procent. Pretest-oddset är 0,4 delat med 0,6, alltså cirka 0,67. Multiplicerat med 2,4 blir posttest-oddset 1,6, vilket motsvarar en sannolikhet på cirka 62 procent. Diagnosen är fortfarande långt ifrån säker, och ett negativt arbetsprov (LR omkring 0,53) hade sänkt sannolikheten till bara omkring 26 procent, alltså inte tillräckligt för att avfärda misstanken.

Samma test hos en 30-årig kvinna med atypiska bröstsmärtor och pretest-sannolikhet på 5 procent ger vid positivt svar en posttest-sannolikhet på ungefär 11 procent. Ett positivt arbetsprov i den situationen är alltså med stor sannolikhet falskt positivt och leder ofta till en kedja av ytterligare undersökningar med egna risker.

Hur pretest-sannolikheten uppskattas

Pretest-sannolikheten är den svåraste komponenten, eftersom den sällan finns färdig i en tabell. Fyra källor används i praktiken. Den första är epidemiologiska data om sjukdomens förekomst i den aktuella åldersgruppen och vårdmiljön; samma symtom har helt olika bakgrundssannolikhet i primärvård och på en specialistmottagning dit patienterna redan selekterats. Den andra är validerade riskskattningar, exempelvis Wells-poäng vid misstänkt lungemboli eller pretest-sannolikhetsmodeller vid misstänkt kranskärlssjukdom. Den tredje är anamnes och status, som i sig kan betraktas som test med egna likelihood ratios. Den fjärde är klinisk erfarenhet, som är den minst tillförlitliga men ofta enda tillgängliga källan.

En viktig konsekvens är att anamnesen är den enskilt mest kraftfulla diagnostiska åtgärden i de flesta situationer, just för att den flyttar sannolikheten mest innan något prov ens tagits. Ett test som beställts utan att man först formulerat en sannolikhetsuppskattning kan inte tolkas bayesianskt, och tolkas då i praktiken som om svaret vore facit.

Flernivå-LR i stället för positivt eller negativt

För kontinuerliga variabler är det informationsförlust att pressa in resultatet i två kategorier. I stället kan intervall av mätvärden tilldelas var sin likelihood ratio: mycket höga värden får en hög LR, värden strax över gränsen en LR nära 1, och mycket låga värden en LR långt under 1. Detta motsvarar hur kliniker faktiskt tänker om exempelvis troponin eller NT-proBNP, där ett gränsvärde och ett tiofaldigt förhöjt värde bär helt olika information trots att båda rapporteras som positiva.

Kombination av flera test

Formellt kan flera oberoende testresultat kombineras genom att multiplicera deras likelihood ratios. Problemet är att kliniska test sällan är oberoende: de mäter ofta överlappande aspekter av samma patofysiologi. Att multiplicera LR för tre besläktade tester överskattar därför den samlade informationen kraftigt. Validerade kliniska beslutsregler, där variablerna vägts samman i en gemensam modell, är av det skälet överlägsna ad hoc-kombinationer.

Gränsvärden och ROC-analys

För kontinuerliga mätvärden, som troponin, D-dimer eller PSA, finns ingen naturlig uppdelning i positivt och negativt. Gränsvärdet är ett val, och varje val innebär en avvägning: en lägre gräns ökar sensitiviteten och minskar specificiteten, en högre gräns gör tvärtom.

ROC-kurvan visar denna avvägning genom att plotta sensitiviteten mot andelen falskt positiva för alla möjliga gränsvärden. Arean under kurvan (AUC) sammanfattar testets samlade särskiljningsförmåga och kan tolkas som sannolikheten att ett slumpmässigt valt sjukt fall har ett högre testvärde än ett slumpmässigt valt friskt. AUC 0,5 motsvarar ett värdelöst test, AUC 1,0 ett perfekt.

AUC har dock viktiga begränsningar. Måttet väger alla gränsvärden lika, även sådana som aldrig skulle användas kliniskt. Det tar ingen hänsyn till prevalens och ingen hänsyn till att kostnaden för ett falskt negativt och ett falskt positivt sällan är densamma. Vid uteslutande av lungemboli eller aortadissektion är ett falskt negativt svar potentiellt dödligt medan ett falskt positivt leder till ytterligare utredning; gränsvärdet ska då sättas för maximal sensitivitet, även till priset av många falsklarm. Vid ett test som leder till en riskfylld intervention gäller det omvända.

Åldersjusterad gräns för D-dimer är ett bra exempel på hur gränsvärden kan optimeras för en specifik population: eftersom D-dimer stiger med åldern ger en fast gräns oacceptabelt låg specificitet hos äldre, och en åldersanpassad gräns ökar andelen som kan avskrivas utan bilddiagnostik utan att missa fler embolier.

Beslutströsklar: när ska man testa alls

Den avgörande frågan är inte om ett test är bra, utan om det kan ändra handläggningen. Detta formaliseras med tröskelmodellen.

Man definierar två trösklar på sannolikhetsskalan. Under testtröskeln är sannolikheten så låg att man avstår både från test och behandling. Över behandlingströskeln är den så hög att man behandlar utan ytterligare test. Mellan trösklarna finns det intervall där ett test faktiskt kan ändra beslutet.

Var trösklarna ligger bestäms av behandlingens nytta och risk samt av testets egna risker och kostnader. En ofarlig, effektiv behandling ger låg behandlingströskel: vid misstänkt bakteriell meningit behandlar man på misstanke, långt innan diagnosen är bekräftad. En riskfylld eller kostsam behandling ger hög tröskel och motiverar mer diagnostik.

Praktiskt innebär detta att man innan varje provbeställning bör kunna svara på vad man skulle göra vid positivt svar respektive vid negativt svar. Är svaret detsamma i båda fallen ska provet inte tas. Denna enkla fråga eliminerar en stor del av den lågvärdiga diagnostiken i sjukvården.

Ett kompletterande begrepp är att varje test har egna skador: strålning, kontrastreaktioner, komplikationer vid invasiva ingrepp, bifynd som kräver uppföljning, och den oro och de merkostnader som utredningskedjor medför. Dessa ska vägas in på samma sätt som behandlingens risker.

Felkällor i studier av diagnostisk träffsäkerhet

Publicerade sensitivitets- och specificitetsvärden är ofta för optimistiska. De viktigaste systematiska felen är följande.

Spektrumbias uppstår när studiepopulationen inte motsvarar den kliniska. Fall-kontrollupplägg, där uppenbart sjuka jämförs med uppenbart friska, ger nästan alltid bättre siffror än en konsekutiv serie patienter med den kliniska frågeställningen.

Verifikationsbias uppstår när referensmetoden bara utförs på dem med positivt indextest, vilket systematiskt döljer falskt negativa och blåser upp sensitiviteten.

Inkorporeringsbias uppstår när indextestets resultat ingår i den referensstandard som testet jämförs mot, vilket per definition ger orimligt god samstämmighet.

Bristfällig referensstandard är ett grundproblem när ingen perfekt facit finns. Om referensmetoden själv har begränsad träffsäkerhet blir indextestets uppmätta prestanda missvisande i båda riktningar.

Bristande blindning mellan indextest och referensstandard, samt selektivt bortfall av obestämbara resultat, drar också åt det optimistiska hållet.

För att bedöma en studies risk för dessa fel används QUADAS-2, och för att rapportera diagnostiska studier fullständigt används STARD-riktlinjerna. En läsare bör som minimum kontrollera om patienterna rekryterats konsekutivt, om referensmetoden tillämpats på alla, och om populationen liknar den egna.

Vanliga tankefel i klinisk vardag

Basfrekvensförsummelse är det mest genomgripande felet: man tolkar testets sensitivitet som om den vore sannolikheten för sjukdom vid positivt svar och ignorerar hur ovanlig sjukdomen är. Studier av både läkare och annan vårdpersonal visar att sjukdomssannolikheten systematiskt överskattas, både före och efter testning, ofta med en faktor som får kliniska konsekvenser i form av onödig behandling och överutredning. Feltolkningen är utbredd även när informationen presenteras tydligt.

Förankring innebär att den första hypotesen får för stor tyngd och att efterföljande information tolkas i dess ljus i stället för att verkligen räkna om sannolikheten. Att uttrycka pretest-sannolikheten explicit, i siffror eller åtminstone som ett grovt intervall, är den enskilt bästa motåtgärden.

Bekräftelsebias gör att prover som stödjer arbetshypotesen tillmäts större vikt än prover som talar emot den. Ett systematiskt sätt att motverka detta är att aktivt formulera vad som skulle tala emot diagnosen innan proverna kommer.

Feltolkning av negativa svar är vanligt: ett negativt test med måttlig sensitivitet hos en patient med hög pretest-sannolikhet utesluter ingenting. Om sannolikheten före testet är 80 procent och testets negativa LR är 0,3 kvarstår en posttest-sannolikhet på cirka 55 procent.

Screeningspecifika fel förtjänar särskild uppmärksamhet. Lead time-bias gör att tidigare upptäckt förlänger den uppmätta överlevnadstiden utan att skjuta upp dödsfallet. Length time-bias gör att långsamt växande, mindre farliga sjukdomsfall är överrepresenterade bland dem som upptäcks vid screening. Överdiagnostik innebär att sjukdom upptäcks som aldrig skulle ha gett symtom under personens livstid. Ett screeningprograms värde kan därför inte bedömas på överlevnad efter diagnos utan kräver randomiserade data på sjukdomsspecifik och total dödlighet.

Sammanfattningsvis är det bästa kliniska skyddet mot dessa fel enkelt att formulera men svårt att göra till vana: uppskatta pretest-sannolikheten innan provet beställs, känn till testets likelihood ratio i storleksordning, och fråga vad du skulle göra vid vardera svaret innan du tar provet.

Källor

1. Pauker SG, Kassirer JP. The threshold approach to clinical decision making. N Engl J Med 1980. PMID: 7366635
2. Morgan DJ, Pineles L, Owczarzak J m.fl. Accuracy of Practitioner Estimates of Probability of Diagnosis Before and After Testing. JAMA Intern Med 2021. PMID: 33818595
3. Whiting PF, Davenport C, Jameson C m.fl. How well do health professionals interpret diagnostic information? A systematic review. BMJ Open 2015. PMID: 26220870
4. Austin LC. Physician and Nonphysician Estimates of Positive Predictive Value in Diagnostic v. Mass Screening Mammography: An Examination of Bayesian Reasoning. Med Decis Making 2019. PMID: 30678607
5. Whiting PF, Rutjes AW, Westwood ME m.fl. QUADAS-2: a revised tool for the quality assessment of diagnostic accuracy studies. Ann Intern Med 2011. PMID: 22007046
6. Bossuyt PM, Reitsma JB, Bruns DE m.fl. STARD 2015: an updated list of essential items for reporting diagnostic accuracy studies. BMJ 2015. PMID: 26511519