De Wet van de Grote Getallen

 

Deze ingezonden brief schreef ik in het weekend van 29 en 30 augustus 2020, en stuurde hem naar de redactie van Follow the Money, Trouw, de Volkskrant en het NRC. Geen van deze ‘kwaliteitskranten’ plaatste de brief en alleen van Trouw kreeg ik een reactie: volgens hen was het stuk te lang, niet ‘to the point’ en weinig relevant voor de lezers van Trouw.

Het kan verkeren.

Geheel toevallig werd 10 dagen later een stuk met dezelfde strekking geplaatst in de ‘kwaliteitskrant’ het NRC.[1] Iets wat men in de 9 maanden daarvoor blijkbaar niet had kunnen bedenken, werd nu een hot item. Saillant detail: in de tabellen die in dit artikel staan wordt dezelfde groepsgrootte van 10.000 mensen gebruikt, precies zoals ik dat ook in mijn ingezonden brief heb gedaan. Daar is geen andere reden voor dan dat het prettig rekent. Ook dit zal de journalist die het stuk schreef natuurlijk spontaan zijn ingevallen, al had ze er wel eerst negen maanden voor nodig om het te bedenken.

Lees, vergelijk en zoek de verschillen:

 

Geachte redactie,

Vanavond keek ik naar het Journaal om te horen wat de gekozen strategie van de overheid is om de Coronapandemie te bestrijden.

Wat mij opvalt is dat niemand het heeft over de Wet van de Grote Getallen.

Wat ik hiermee bedoel is het volgende: hoewel we weliswaar nog niet goed weten hoe de rtPCR presteert bij de detectie van SARS-CoV-2, zijn er al wel schattingen van de sensitiviteit en specificiteit. Deze twee kenmerken zijn essentieel om te bepalen hoe zinvol een strategie van ‘testen, testen, testen’ eigenlijk is. Beide zijn absoluut onmisbaar om te kunnen beoordelen hoe betrouwbaar een bepaalde test is, en of deze eigenlijk wel bruikbaar is als screeningstest. Want dat is namelijk waar deze rtPCR op Corona nu praktisch gezien voor gebruikt wordt: screening op een infectie met SARS-CoV-2.

Nu ben ik maar een eenvoudige neuroloog, maar ook bij het testen op COVID-19 gelden de eenvoudige basisregels uit de epidemiologie, en wel op dezelfde manier als bij iedere andere vorm van screening. Tot nu toe wordt dit door de deskundigen en in de media op geen enkele manier belicht, terwijl dit van uitermate groot belang is.

Als sensitiviteit van de rtPCR wordt in de literatuur een getal van 70% opgegeven, hetgeen betekent dat van alle 100 mensen die daadwerkelijk besmet zijn er 70 een positieve testuitslag krijgen en 30 mensen een negatieve testuitslag. De testuitslagen van de laatste groep worden benoemd als FOUT NEGATIEF. Deze mensen zijn wel besmet, maar hebben een negatieve testuitslag. Desondanks gaan deze mensen natuurlijk niet in quarantaine, immers, hun test was negatief.

De specificiteit wordt geschat op 95%, hetgeen betekent dat van de 100 mensen die NIET besmet zijn met het virus, er 95 inderdaad een negatieve testuitslag hebben. Maar 5 mensen die niet besmet zijn, hebben wél een positieve testuitslag. Deze laatste groep wordt benoemd als FOUT POSITIEF. Deze mensen hebben een positieve test, maar zijn in werkelijkheid niet besmet. Maar zij moeten wél in quarantaine.

Met deze getallen ga ik aan het rekenen in een eenvoudige 2×2 tabel: de eerste tabel is de rekensom bij de in bovengenoemd artikel opgegeven sensitiviteit van 70% en een specificiteit van 95%, bij een geschatte prevalentie van SARS-CoV-2 van 1%. De term prevalentie wil zeggen dat van elke 100 willekeurig gekozen mensen er 1 besmet is:

Uit deze tabel kan men de negatief voorspellende waarde berekenen. Dat is de kans dat iemand die een negatieve test heeft, inderdaad niet besmet is.

In deze tabel is dat 9405/9435 x 100 = 99%. Iemand die negatief getest is, heeft dus een kans van 99% dat hij het virus niet bij zich draagt, en 1% kans dat hij ondanks een negatieve test toch besmet is.

Uit dezelfde tabel kan men ook de positief voorspellende waarde berekenen. Dat is de kans dat iemand die een positieve test heeft, ook daadwerkelijk besmet is. De bijbehorende rekensom ontleend aan bovenstaande tabel is de volgende: 70/565 x 100 = 12%.

Dat wil dus zeggen dat van de 100 mensen die een positieve testuitslag krijgen (en daarmee als besmet worden beschouwd) er slechts 12 daadwerkelijk besmet zijn! 88 mensen hebben wel een positieve testuitslag, maar zijn in werkelijkheid niet besmet! Maar zij moeten wél in quarantaine.

Bij een prevalentie van 1%, een sensitiviteit van 70% en een specificiteit van 99% zijn de getallen als volgt:

In dit geval is de negatief voorspellende waarde (9801/9831 x 100) nog steeds 99%. De positief voorspellende waarde in dit geval is (70/169 x 100) = 41%. Dat wil dus zeggen dat zelfs bij een uitzonderlijk goed presterende test, de kans dat iemand die een positieve testuitslag heeft ook daadwerkelijk besmet is, nog steeds niet meer is dan 41%. Zelfs in dit geval zouden van de 100 mensen 59 mensen in quarantaine moeten, hoewel ze niet besmet zijn.

Er zijn maar weinig screeningstesten die zo goed presteren als in het laatste voorbeeld, en het zou uitzonderlijk zijn als de rtPCR op SARS-CoV-2 deze testeigenschappen wel heeft. Het probleem is dat naarmate de prevalentie van een ziekte afneemt, dit effect sterker wordt. Dit heet in de epidemiologie de Wet van de Grote Getallen.

Ik zal hieronder beargumenteren dat de prevalentie van 1% die ik bij de berekeningen gebruik naar alle waarschijnlijkheid de werkelijkheid dicht benadert. De werkelijke prevalentie ontleen ik aan het Corona-dashboard van de overheid. De schatting van het RIVM is dat er per 100.000 inwoners 2.7 mensen zijn die besmet zijn met het Corona-virus. Ik rond dit voor het gemak af op 3 per 100.000. Dit zou ik eigenlijk nog moeten compenseren voor het aantal fout-positief geteste mensen, het aantal mensen dat een positieve testuitslag heeft, maar in werkelijkheid niet besmet is met SARS-CoV-2. Zoals bovenstaande voorbeelden duidelijk maken, zou dit tot de helft van de mensen met een positieve testuitslag kunnen betreffen. Dit maakt de situatie nog dramatischer omdat daarmee de werkelijke prevalentie van Corona-besmettingen nog lager is dan deze schatting van het RIVM. Maar laten we voor het gemak uitgaan van een prevalentie van 3/100.000, hetgeen neerkomt op een prevalentie van 0.003%.

Daarbij moeten we ons realiseren dat er niet willekeurig getest wordt, maar formeel alleen de mensen getest worden met (milde) griepachtige klachten, zoals verkoudheid, een loopneus, hoesten, koorts, keelpijn; ofwel het beeld van een respiratoire virusinfectie. Hoe mild deze klachten ook zijn, men krijgt desondanks het advies om zich te laten testen.

Het is dus belangrijk om te weten hoeveel mensen er op elk willekeurig moment (milde) griepachtige klachten hebben. Ik ontleen de incidentie hiervan (het percentage mensen dat in een jaar griepachtige klachten heeft) aan een overzicht uit Huisarts & Wetenschap.[2]

Deze incidentie wordt geschat op 100 op de 1000 mensen per jaar, dus 1 op de 10 mensen. Dit getal fluctueert per seizoen en is klassiek laag in de zomer en hoog in de winter. Een periode van griepachtige klachten duurt naar schatting zo’n 7 dagen, dus in elke week zijn er gemiddeld 10.000/52 weken = 192 mensen met al of niet milde griepachtige klachten. Als men de bovengenoemde fluctuatie van de incidentie buiten beschouwing laat, zouden er op elk willekeurig moment per 100.000 mensen 192 mensen zijn die griepachtige klachten hebben.

Welbeschouwd zijn er dan van deze 192 mensen met griepachtige klachten 3 mensen die besmet zijn met het coronavirus. (De prevalentie van coronabesmettingen was immers 3 per 100.000) Ten opzichte van die 192 mensen met griepachtige klachten zouden deze drie mensen een onderschatting zijn van het totale aantal mensen dat besmet is met het coronavirus, aangezien een zeker deel van de mensen met een besmetting geen griepachtige symptomen heeft, en deze ook niet zal krijgen. Die mensen worden niet getest, maar kunnen andere mensen wel besmetten. Daarmee zou het totaal aantal mensen met een infectie met SARS-CoV-2 (veel) hoger zijn dan het aantal mensen dat positief getest wordt met griepachtige klachten ten gevolge van een (milde) COVID-19. Als dan alleen de mensen met symptomen worden getest, zijn dat er (veel) minder dan het totale aantal mensen met een besmetting. Wat het daadwerkelijke aantal besmette mensen is, is moeilijk in te schatten en daarom laat ik die in deze bierviltjesberekening buiten beschouwing.

Op het moment van het schrijven van deze blog ging het RIVM er nog van uit dat iedereen die besmet werd met SARS-CoV-2 ook daadwerkelijk symptomen kreeg. Verspreiding van het virus door mensen die wél besmet waren maar geen symptomen kregen, werd daarmee uitgesloten, hoewel er op dat moment in de wetenschappelijke literatuur al voldoende aanwijzingen waren dat dit wel degelijk mogelijk was.

Daarmee kom ik dan, wat corona betreft, uit op een prevalentie van 3/192 x 100 = 1.5% onder de groep mensen met verkoudheidsklachten.

Als de prevalentie van griepachtige klachten stijgt, zoals in de komende winter waarschijnlijk het geval zal zijn, neemt verhoudingsgewijs het aantal mensen met een Corona-besmetting in deze groep af, omdat het aantal mensen met griepachtige klachten ten gevolge van andere respiratoire virussen verhoudingsgewijs toeneemt. Daarmee zou het percentage van mensen met een (milde) COVID-19 ten opzichte van het totale aantal mensen met griepachtige klachten dalen, en is de verwachting dat er meer fout-positieve uitslagen gegenereerd worden.

Op het moment van schrijven van deze blog ging men er nog van uit dat er geen seizoenseffect was qua prevalentie van CoVID-19, en ook dit bleek later een forse misrekening te zijn. Zoals men overigens had kunnen verwachten bij een respiratoir overgedragen virus.

Men moet zich dan ook realiseren dat bij de huidige dagelijkse beoogde 30.000 testen en een specificiteit van 99% per definitie per dag 300 mensen positief testen, die echter niet besmet zijn. Daarmee wordt duidelijk dat, zelfs als er in werkelijkheid geen enkele besmetting meer zou zijn, er desondanks driehonderd mensen per dag een positieve testuitslag krijgen bij deze testaantallen. Als minister De Jonge zijn zin krijgt en we gaan naar een capaciteit van 70.000 testen per dag, dan krijgen 700 mensen per dag een positieve testuitslag bij een specificiteit van 99%, zelfs als er geen enkele besmetting meer is!

Bij een specificiteit van 95% zijn er bij 30.000 testen per dag 1500 (!) mensen die een positieve testuitslag krijgen, zelfs als er geen enkele Coronabesmetting meer is, en bij een dagelijkse hoeveelheid testen van 70.000 per dag zijn dat er 3500! Als de werkelijke prevalentie van mensen die besmet zijn met het coronavirus ten opzichte van het totale aantal mensen met griepachtige klachten niet 1.5% maar 0.35% is, wordt de verhouding tussen het aantal mensen met een positieve testuitslag die echt besmet zijn, en het aantal mensen dat een positieve testuitslag heeft, maar in werkelijkheid niet besmet zijn, nog veel slechter.

Het dogma van ‘testen, testen, testen’, zeker als men ook nog asymptomatische zorgmedewerkers wil gaan testen zoals nu voorgesteld wordt, leidt tot een enorme heksenjacht op een relatief onschuldig virus en in theorie is het goed mogelijk dat men blijft jagen op een virus dat allang uit ons midden verdwenen is, zoals bovenstaande voorbeelden pijnlijk duidelijk maken.

Ik vraag me af of dat een zinnige besteding van tijd en geld is. Het heeft niets te maken met wat ik in mijn opleiding tot arts en neuroloog heb geleerd, en mijns inziens heeft het gezonde verstand en zelfs het meest basale analytische denken ons in dit opzicht al lang verlaten. Van politici verwacht ik niets anders, maar van artsen, virologen en epidemiologen zou men toch meer mogen verwachten.

Met vriendelijke groet,

Jan Bonte, neuroloog.

 

 

[1] Geen corona, toch in quarantaine: mogelijk honderden fout-positieve uitslagen per week. NRC, 10 september 2020.
[2] Verkoudheid. Huisarts & Wetenschap, 10 februari 2002.