Je moet voorzichtig zijn met het zonder aanleiding testen van grote groepen mensen
Dinsdag sprak ik op een onderwijscongres over de neiging om alles maar te willen toetsen en testen. Jeffrey Z. Muller beschrijft in zijn boek The Tyranny of Metrics prachtig wat er allemaal misgaat als we complete personen terugbrengen tot één getal, zodat we hen makkelijk met elkaar kunnen vergelijken. We meten dan vooral wat makkelijk te tellen is en niet per se wat echt belangrijk is.
In mijn lezing besprak ik preventieve testen om kinderen met een probleem op te sporen. Daarbij kunnen twee soorten fouten optreden. Ten eerste kan de test een kind zonder probleem per ongeluk als probleemgeval bestempelen. Dat heet een vals-positief en ik vergelijk het graag met een arts die vrolijk aan een man vertelt dat hij volgens de testresultaten zwanger is. De tweede fout is dat de test iemand mét een probleem niet herkent. Dat heet een vals-negatief en het is als een arts die een barende vrouw vertelt dat haar zwangerschapstest negatief is.
Je kunt voor allerlei testen berekenen wat de kans op deze fouten is en wat voor gevolgen dat heeft – en dat deed ik dan ook in mijn lezing. De dagvoorzitter Jos Gerards kwam na afloop naar me toe met een voorbeeld dat ik nog niet kende: de Autisme Spectrum Quotiënt-vragenlijst. Je kunt die test zelf invullen op internet en als je 32 of hoger scoort, is de kans groot dat je autisme hebt. Of nou ja, dat is dus het idee.
Natuurlijk is autisme in werkelijkheid een spectrum en is het niet zo zwart-wit, maar voor het analyseren van de test houden we het toch maar even simpel op wel of geen autisme. De website Hulpgids.nl schrijft over de vragenlijst: ‘De [test] heeft weinig vals-positieve uitslagen, wel veel vals-negatieve uitslagen door een gebrek aan inzicht.’ De test herkent 80 procent van deze mensen met autisme en slechts 2 procent van degenen zonder autisme krijgen een onjuiste uitslag. Dat klinkt alsof er inderdaad niet zo veel vals-positieven zijn. Tot je eraan gaat rekenen.
Schattingen voor het voorkomen van autisme liggen rond de 1 procent van de bevolking. Als tienduizend willekeurige mensen deze vragenlijst invullen, dan zullen honderd van hen autisme hebben. Tachtig van hen worden netjes herkend. Twintig van hen krijgen te horen dat ze geen autisme hebben – dat zijn die vals-negatieven (en dat ligt misschien eerder aan de aard van dit soort testen dan aan een gebrek aan inzicht).
Van de 9.900 mensen die géén autisme hebben, krijgt 2 procent onterecht te horen dat ze dat wél hebben. Dat zijn 198 vals-positieven. Daarmee krijgen in totaal 278 van de 10 duizend mensen te horen dat ze autisme hebben, terwijl slechts 80 van hen dit daadwerkelijk hebben. Kortom: als je de uitslag ‘autisme’ krijgt, dan is de kans 71 procent dat dit niet klopt.
De kans op vals-positieven is met 2 procent klein, maar omdat er veel meer mensen zonder autisme zijn, hoopt dat toch nogal op. Dit probleem speelt bij veel vormen van preventief testen op relatief zeldzame dingen. De les is dat je heel voorzichtig moet zijn met grote groepen mensen zonder aanleiding testen op van alles en nog wat. Zeker als het om dingen gaat die veel te ingewikkeld zijn om in één getal samen te vatten.