Autisme: de sterke en zwakke punten van de AQ

Laatst bijgewerkt: 25-11-2019 om 23.20


'Autisme' is een wollig begrip. Tom Clements schrijft op de website van The Guardian (hier): 'The word autism means a lot of different things to different people.' Vrij vertaald: 'autisme' betekent voor verschillende mensen iets anders. Mensen zijn het niet eens over de betekenis van 'autisme'.

Gelukkig kunnen we 'autisme' meten. We kunnen het meten met de AQ (Autism spectrum Quotient-vragenlijst) van Baron-Cohen. De meest gehanteerde vragenlijst om autisme in de bevolking te meten. Helemaal zonder problemen is dat echter nog niet.


Hoe werkt de AQ?

Laten we eerst kijken hoe de AQ-vragenlijst in elkaar zit. De lijst bestaat uit 50 stellingen. Sommige stellingen zijn zo geformuleerd, dat je er als autist mee moet instemmen. Andere items zijn zo geformuleerd dat je ze als autist juist moet ontkennen. Ik geef als voorbeeld een item uit de eerste categorie. Item 2: 'I prefer to do things the same way over and over again.' Autisten geloven in oefenen en eindeloos herhalen, dat zit als het ware in hun genen. Ze zullen dus met deze stelling meestal instemmen.

De vier antwoordalternatieven van de AQ zijn: 'definitely agree', 'slightly agree', 'slightly disagree' en 'definitely disagree'. Voor de normaal gescoorde items krijgen die van Baron-Cohen respectievelijk de waarden:  0, 0, 1, 1. Voor de omgekeerd gescoorde items zijn dat de waarden: 1, 1, 0, 0.

Hij hakt de antwoordschaal dus als het ware in twee stukken. Of je geeft een antwoord dat suggereert dat je autistisch bent en krijgt dan 1 punt, of je geeft een antwoord dat niet past bij dat idee. In dat geval krijg je 0 punten. Item 2, dat ik hierboven als voorbeeld gaf, moet dus omgekeerd gescoord worden. Wie er mee instemt, scoort een autisme-punt.

Het voordeel van deze benadering is dat je maximaal 50 autistische kenmerken kunt scoren: je bent dan maximaal autistisch. In het tegenovergestelde geval scoor je 0 kenmerken: je bent volstrekt niet-autistisch. Op deze manier opgevat is autisme dus een hoeveelheid. Minimaal is 0, maximaal is 50. Iemand die 20 scoort, is tweemaal zo autistisch als iemand die 10 scoort. In de statistiek zegt men dan: autisme wordt verondersteld op een ratioschaal te liggen. 


De niet bevestigde theorie

De AQ is opgebouwd uit 5 subschalen van ieder 10 items. De subschalen zijn: social skill, attention switching, attention to detail, communication, en imagination. Vertaald: sociale vaardigheid, wisselen van aandacht, aandacht voor details, communicatie en voorstellingsvermogen. Het onderliggende idee (of theorie) is dat autisten op deze vijf punten afwijken van de rest van de bevolking.

Ik geef een voorbeeld uit iedere categorie waar een autist mee moet instemmen en die dus omgekeerd gescoord moeten worden. Wie instemt, verdient een autisme-punt. Ik houd de volgorde uit de vorige alinea aan.
Item 13 -  I would rather go to a library than a party.
Item 2 -  I prefer to do things the same way over and over again.
Item 18 -  When I talk, it isn't always easy for others to get a word in edgeways.
Item 20 -  When I am reading a story, I find it difficult to work out the characters' intentions.
Item 19 -  I am fascinated by numbers.

Iedere subschaal is bedoeld een bepaald aspect van 'autisme' te meten. Als het goed zou zijn, zouden al die 5 subschalen dezelfde onderliggende factor 'autisme' moeten meten. Ze zouden onderling allemaal belangrijk positief moeten samenhangen. Helaas blijkt dat niet zo te zijn.

Ter vergelijking. Als student moest ik ooit 'coping-behavior' meetbaar maken. Men had het over 'coping-behavior', maar bedoelde eigenlijk de vaardigheid in het omgaan en oplossen van problemen (coping-ability). Ik bedacht eerst welke eigenschappen mensen zouden hebben, die heel goed waren in het omgaan met en oplossen van problemen. Dat resulteerde in een model met, ik dacht, 9 of 10 eigenschappen (ik heb het niet meer nagezocht). Voor ieder van die eigenschappen zocht of bedacht ik een instrument. Vervolgens liet ik de hele testbatterij los op de proefpersonen, die uit totaal verschillende 'groepen' afkomstig kwamen.

Dat onderzoek leverde op dat alle instrumenten dezelfde factor bleken te meten: neuroticisme. Alle instrumenten correleerden onderling hoog positief. Met andere woorden: mijn idee over coping-behavior klopte en we konden het begrip op een veelheid van manieren meten. Mensen verschillen kennelijk systematisch in hun vermogen om problemen het hoofd te bieden en je kunt dat op totaal verschillende manieren meten, die allemaal hetzelfde opleveren.

Wel, een dergelijk resultaat wordt voor de subschalen van de AQ niet gevonden. De uitkomsten op dit punt zouden niet slechter kunnen zijn. In het minimale geval zou je al blij zijn als twee subschalen onderling belangrijk zouden correleren. Maar zelfs dat is bij de AQ niet overtuigend het geval. De theorie die de testconstructeur in zijn hoofd had bij het bedenken van de subschalen, wordt op geen enkele manier bevestigd. Het is alsof de man geen idee had van wat 'autisme' precies inhoudt.


De weinig consistente schaal

Wanneer je 50 items hebt, die onderverdeeld zijn in subschalen, kan het gebeuren dat de subschalen onderling niet samenhangen. Maar ondanks dat, is het nog steeds mogelijk dat de 50 items samen toch een bepaalde eigenschap meten. De structuur die je op je items hebt geplakt, klopt niet, maar de items zelf meten toch nog vaak genoeg een bepaalde eigenschap, zodat een betrouwbaar instrument ontstaan is.

Baron-Cohen gaat op dit punt van de (interne) betrouwbaarheid, net als op het voorgaande punt, in zijn boek niet echt in. Het Zweedse onderzoek (hier) vermeldt echter nadrukkelijk dat de AQ niet duidelijk één bepaalde factor blijkt te meten. De schaal is niet uni-dimensioneel. De items vormen een wilde verzameling die amper samenhangen. De items leveren niet een goed bruikbare schaal op.

Om de samenhang tussen de items van een schaal weer te geven, is het gebruikelijk om coëfficiënt alfa te berekenen en te rapporteren. De 'vader' van de psychometrie, Jum Nunnally, stelde in zijn handboek (hier) ooit dat je bij iedere test, bij iedere vragenlijst, altijd coëfficiënt alfa behoort te berekenen.

Zowel Baron-Cohen als de Zweedse onderzoekers (hier) deden dat echter -- althans afgaande op hun rapportage -- niet. Waarom niet? Was dat gebrek aan psychometrische kennis of vond men het 'slimmer' om de nogal tegenvallende waarde maar niet te rapporteren?

De Zweedse onderzoekers vermelden wel de 'person reliability' en stellen dat die vergelijkbaar is met coëfficiënt alfa. De waarde die ze vermelden is: 0,86. Maar waarom niet gewoon coëfficiënt alfa rapporteren?

Ik vroeg me daardoor af: is het niet mogelijk coëfficiënt alfa te berekenen uit de gegevens die ze wel vermeld hebben? In hun artikel vermelden ze de gemiddelde score per item voor beide groepen (autisten en niet-autisten). Uitgaande van de dichotome scoring (0/1) die Baron-Cohen toepast, ligt in dat geval ook voor ieder item de standaarddeviatie (in die groep) vast en daarmee de variantie.

Hier deed zich echter een probleem voor. De Zweden hebben de items anders gescoord dan Baron-Cohen. Ze vonden het kennelijk niet nodig zich te houden aan het scoringsvoorschrift van de testauteur, waardoor de uitkomsten onderling niet meer eenvoudig vallen te vergelijken.

Hoe hebben de Zweden de antwoord-alternatieven gescoord? Voor de normaal gescoorde items als respectievelijk: 1 (volledig eens), 2 , 3 en 4 (volledig oneens). Bij de items die omgekeerd gescoord moesten worden, werden de waarden respectievelijk: 4, 3, 2, 1. Om hun uitkomsten vergelijkbaar te maken met die van Baron-Cohen moest ik hun cijfers omrekenen naar zijn 0/1-schaal (steeds 1 van de waarde af te trekken en vervolgens delen door 3). Daarna was het mogelijk voor ieder item de score in de totale steekproef (autisten en niet-autisten) te berekenen en vervolgens daaruit de itemvariantie. Het totaal van al die itemvarianties bedraagt 11,3.

De Zweedse onderzoekers vermelden de gemiddelden en standaarddeviaties voor de groep autisten en de niet-autisten. Uit die vier gegevens kan vervolgens de 'gepoolde variantie' van de totale steekproef berekend worden (hier).  Dit leverde voor de score van de AQ in de totale steekproef (autisten en niet-autisten) een standaarddeviatie van 6,3 op (op basis van de Baron-Cohen scoring).

Uit de beide varianties (de som van de itemvarianties en de variantie van de somscore) samen met het aantal items van de test, valt vervolgens coëfficiënt alfa te berekenen (hier). Dit leverde voor de AQ (op het totaal van beide groepen) een coëfficiënt alfa op van 0,73.

Wat betekent dat? Wie 50 soortgelijke items zou construeren en die aan dezelfde proefpersonen zou voorleggen, zou natuurlijk niet precies dezelfde scores krijgen. Maar de nieuwe score zou -- doordat beide tests opgebouwd zijn uit soortgelijke items -- gecorreleerd zijn met de oude score. Coëfficiënt alfa voorspelt dat die correlatie tussen de oude en de nieuwe AQ ongeveer 0,73 zal bedragen. Beide tests zullen ongeveer 50% variantie gemeenschappelijk hebben, maar voor de overige 50% dus verschillen.

Een andere manier om coëfficiënt alfa te interpreteren, is te kijken naar de gemiddelde onderlinge correlatie tussen de items. De alfa-betrouwbaarheid van de vijftig items tellende AQ is 0,73. Via de formule voor testverlenging (en verkorting) vinden we dan de gemiddelde onderlinge correlatie tussen de items: 0,05. De items van de AQ hebben in doorsnee vrijwel niets gemeenschappelijk.

Met andere woorden: de testconstructeur heeft niet goed duidelijk, wat hij precies moet vragen. Hij heeft misschien de klok horen luiden, maar weet nog niet precies waar de klepel hangt. Hij heeft globaal een idee van de items die hij moet vragen om begrip X te meten, maar de items overlappen qua strekking niet of amper. Kortom: de AQ is dringend aan verbetering toe.



De problemen van het 'diagnostisch proces'

Als een test iets meet (enige betrouwbaarheid bezit, de score is niet volledig toevallig), is de volgende vraag of hij inderdaad meet, wat hij verondersteld wordt te meten (valide is). Als een weegschaal voortdurend keurig de temperatuur aangeeft, hebben we aan het ding als weegschaal niets. De manier om er achter te komen of de weegschaal goed het gewicht aangeeft, is de uitkomst van de weegschaal te vergelijken met het resultaat van een andere weegschaal. Als beide schalen hetzelfde aanwijzen, dan is onze weegschaal kennelijk in orde. We moeten dus een andere maat zien te vinden om 'autisme' te meten.

De enig andere gangbare manier om 'autisme' te bepalen, is tot nu toe het 'diagnostisch proces'. Psychiaters bekijken de probleemgevallen die ze over de vloer krijgen en plakken daar soms het label 'autistisch' op. Dat klinkt indrukwekkend, maar of het meettechnisch gezien echt goed werkt, is zeer de vraag.

Wat zijn de problemen? Ik baseer me weer op het boek van Baron-Cohen (hier). Daarbij moet ik wel opmerken dat hij zich niet realiseert dat het meettechnisch gezien om 'problemen' gaat. Het eerste probleem is dat de diagnose doorgaans wordt uitgevoerd door een multi-disciplinair team. Dat klinkt indrukwekkend, maar is het niet. Wie is er dan verantwoordelijk bij een foute diagnose? Niemand dus. In een team gaan groepsprocessen leiden tot een oordeel. Het oordeel is niet meer gebaseerd op zorgvuldige observatie en rationeel denken.

Een tweede probleem dat ik uit zijn beschrijving haal, is de duur. Het team heeft twee tot drie uur nodig. Dat betekent dat de uitkomst van zo'n langdurig proces in beginsel volledig onvoorspelbaar wordt. Een club mensen die je drie uur zijn gang laat gaan, doet van alles, behalve de taak die ze moesten doen.

En alsof al die problemen nog niet genoeg zijn, baseert het team zich op interview en observatie. Maar als er iets is, waar mensen slecht in zijn, is het reduceren van grote hoeveelheden informatie tot een juiste conclusie. Een computer kan dat, mensen kunnen dat niet.

Kennelijk voelt Baron-Cohen zelf ook enige nattigheid, want hij voegt een hele alinea toe, dat men in de toekomst hoopt meer objectieve methodes te kunnen gebruiken, zoals 'biological markers'. Hij wekt daarmee handig de indruk, dat er 'autisme' een biologische achtergrond zal hebben. Maar dat hoopt hij slechts en voor dat je dat echt hard kunt maken, moet je eerst het begrip wel objectief gedefinieerd hebben. Iets dat op dit moment nog steeds problematisch is.

Alle voorwaarden voor een problematisch diagnostisch proces lijken dus volop aanwezig. Maar dat is kennelijk nog niet dol genoeg. Hij schrijft dan: 'Diagnosis is only of value when it is not just a label but a pasport into accessing all the necessary support services that each individual may need.'

Met andere woorden: de diagnose is niet objectief. De basis van het wetenschappelijk oordeel is strikte objectiviteit. De onderzoeker mag op geen enkele manier belang hebben bij een bepaalde uitkomst. Die uitkomst moet hem bij wijze van spreken volledig worst zijn. Hij moet puur zijn werk doen. Dat is wat hij vindt. Misschien jammer of mooi, maar dan kan hij helaas ook niets aan doen.

Wat Baron-Cohen schrijft, is echter precies het tegenovergestelde. Er is een 'patiënt' die graag hulp wil, maar om die hulp te krijgen, moet hij gediagnosticeerd worden als 'autistisch'. Wat doe je dan als arts? Zeg je dan: ik heb totaal niets met mijn patiënt te maken. Of probeer je voor je patiënt iets te regelen?

Hoe die beslissing uitvalt, is strikt genomen niet van belang. De condities waaronder de beoordelaar zijn werk moet doen, zijn dusdanig dat zijn objectiviteit niet langer gegarandeerd is.

Wanneer je dus leest wat Baron-Cohen schrijft over het 'diagnostisch proces', zijn daar tal van ernstige problemen mee. Wat de zaak echter nog ernstiger maakt, is dat hij zich die problemen volledig niet lijkt te realiseren. Met andere woorden: hij lijkt geen enkel besef te hebben van hoe een objectieve diagnose behoort te verlopen. Het is alsof hij geen idee heeft van harde, empirische wetenschap.

Baron-Cohen staat echter aan het hoofd van een afdeling die gespecialiseerd is in autisme-onderzoek. Dat vertelt dus iets over de cultuur van autisme-onderzoekers. Autisten zijn misschien sociaal gezien vreemde mensen, maar deze 'onderzoekers' zijn -- gezien door empirisch wetenschappelijke ogen --  uiterst merkwaardige 'onderzoekers'.

Bevat zijn boek meer aanwijzing voor dat idee? Ik wees al eerder op het vreemde verschijnsel dat er met de persoonlijkheden van tal van bekende autisme-onderzoekers ernstige problemen bleken te bestaan. Het waren fascisten, oplichters en ga zo maar door.

Een ander punt dat me in dit verband in het boek van Baron-Cohen opvalt, is hoofdstuk 2: The chancing prevalence of autism through history. Een heel hoofdstuk over het merkwaardige fenomeen dat het percentage autisten voortdurend lijkt te groeien.

Maar als je een begrip als 'autisme' nooit objectief gedefinieerd hebt, hoe kun je dan de frequentie meten? Dat kan dus niet. Met andere woorden: de 'onderzoekers' maken zich niet druk over het ontbreken van een operationele definitie voor 'autisme', maar constateren opgewekt overal 'autisme' waar ze 'autisme' denken te zien.

Dan is er nog een andere merkwaardigheid. Baron-Cohen presenteert in zijn boek twee frequentie-verdelingen: een voor de AQ van autisten en een voor het AQ van niet-autisten. Met die frequentieverdelingen is iets merkwaardigs aan de hand: het is een vloeiende lijn. Maar als je onderzoek doet, heb je altijd een eindige steekproef. Alleen een oneindig grote steekproef levert een vloeiende lijn op, maar een eindige steekproef levert een geblokte lijn os, omdat het in feite een staafjes-diagram is. Dus: hoe kan in die figuur een vloeiende lijn zitten?

Een gangbaar statistiek-programma als SPSS levert daar toch echt een geblokte lijn en geen vloeiende lijn. Kennelijk heeft men dus zelf het histogram dat de computer opleverde, bewerkt en 'mooier' gemaakt. In feite zit je dan te knoeien met de uitkomsten.

Maar dat was nog niet alles. In het Zweedse onderzoek naar de in het Zweeds vertaalde AQ viel precies hetzelfde te zien. De frequentieverdeling was bewerkt tot een vloeiende lijn. In ieder geval betekent dat, dat de onderzoekers op het gebied van statistiek slechts beperkt onderlegd zijn, hoewel hun publicaties bol staan van de meest ingewikkelde technieken. Die ze kennelijk zelf niet altijd goed begrijpen.

Ondanks al die problemen die aan de diagnose van autisme vastzitten, zijn die diagnoses wel iets dat we hebben en in beginsel kunnen gebruiken. Maar het zal duidelijk zijn, dat je graag een objectievere maat wilt, die qua procedure beter vastligt en die je kunt gebruiken als check op dat ondoorzichtige diagnostische proces. Dat brengt ons terug naar de AQ van Baron-Cohen.


'Autisten' scoren op de AQ gemiddeld hoger dan 'niet-autisten'

Als we willen weten of de AQ inderdaad 'autisme' meet, hebben we een tweede meetinstrument nodig dat ook 'autisme' meet. Het enige andere gangbare meetinstrument is echter het 'diagnostisch proces' en dat levert geen score op, maar plakt slechts labeltjes 'autistisch' op bepaalde mensen. Het enige dat we dan kunnen doen, is een groep 'autisten' en een groep veronderstelde 'niet-autisten' te vergelijken op hun AQ-score.

Wat vermeldt Baron-Cohen in zijn boek hierover? Hij presenteert in 'Figure 3.2' twee frequentieverdelingen. De ene verdeling is voor een 'typische' groep autisten, de andere voor niet-autisten. Die twee verdelingen overlappen elkaar amper. Het zijn twee klokvormige figuren die elkaar slechts voor een klein deel overlappen. De verschillen tussen beide groepen zijn dus groot.

Uitgaande van de figuur ligt het gemiddelde voor de niet-autisten op de AQ rond de 16 en voor de autisten rond de 35. In 'Table 3.2' vermeldt Baron-Cohen inderdaad een gemiddelde AQ voor de bevolking van 16. De mensen die 32 en hoger scoren beschouwt hij volgens deze tabel als autistisch. In de figuur valt te zien dat de hoogste scores doorlopen tot 45 punten en hoger. Op grond hiervan verwacht je een gemiddelde score voor de groep autisten van ongeveer 35.

Het verschil tussen 35 en 16 bedraagt 19. Volgens Baron-Cohen is de standaarddeviatie van de AQ: 3. Dat levert voor het verschil tussen autisten en niet-autisten een waarde op van meer dan 6 standaarddeviaties! Een onvoorstelbaar groot verschil. Of autisten behoren tot de normale bevolking, of het zijn buitenaardse wezens. In het eerste geval zou je verwachten dat het verschil nog iets van 3 standaarddeviaties kan bedragen, maar geen 6.

Wat melden de Zweedse onderzoekers? Ze vermelden gemiddelden voor de AQ-score van 103 voor de niet-autisten en 128 voor de autisten. Een verschil van 25 punten gerekend in hun scoring. Omgerekend naar de dichotome schaal van Baron-Cohen levert dat 25/3 of ruim 8 punten verschil. Een totaal andere waarde dan de 19 punten die Baron-Cohen impliceert met zijn figuur.

Hoe groot is het Zweedse verschil uitgedrukt in standaarddeviaties? De Zweden rapporteren een standaarddeviatie van 11 voor de niet-autisten. Omgerekend naar de schaal van Baron-Cohen: een standaarddeviatie van 3,7. Dat levert een verschil tussen de autisten en de niet-autisten op ter grootte van 2,2 standaarddeviatie. Een waarde die wel mogelijk lijkt.


'Spreidingsproblemen' van de AQ

Met de spreiding (de waarde van de standaarddeviatie) doet zich bij de AQ echter een probleem voor. Je zou verwachten dat de spreiding in de groep autisten een stuk kleiner zou moeten zijn dan in de bevolking. In de bevolking heb je immers autisten en niet-autisten, maar in de groep mensen die als 'autist' gediagnosticeerd zijn, heb je -- als het goed is -- alleen maar autisten.

Vergelijk het met een groep hoogbegaafden. De intelligentie in de bevolking loopt bijvoorbeeld ruwweg van 55 naar 145. Het verschil tussen de hoogste en laagste score is dan 90. Wanneer de groep hoog begaafden echter begint bij 130 moet die eindigen bij ongeveer 145. Het verschil tussen hoogste en laagste is slechts 15. De spreiding is slechts een zesde van de spreiding in de totale bevolking.

Verder zou je verwachten dat de hoogbegaafden onderdeel blijven vormen van de normale bevolking. Wanneer de intelligentie in de totale bevolking loopt van ruwweg 55 naar 145 kunnen de hoogbegaafden hooguit ongeveer 145 scoren. Wanneer ze daar aanzienlijk boven zouden zitten, zijn ze kennelijk van buitenaardse oorsprong. Met andere woorden: dat kan niet.

Tenslotte verwacht je ook nog dat de autisten niet heel laag zullen scoren op de AQ. Een lage score betekent immers dat je niet autistisch bent volgens de AQ.

In totaal hebben we dan voor het gebied van de AQ waarin de scores kunnen vallen, drie verwachtingen:
1. de spreiding van de autisten moet veel kleiner zijn dan van de niet-autisten;
2. de autisten mogen hoog scoren, maar moet binnen de grenzen van de bevolking (de niet-autisten) blijven vallen;
3. de autisten mogen niet extreem laag scoren.

Wanneer we kijken naar de uitkomsten van het Zweedse onderzoek, zien we echter precies het tegenovergestelde. Bij de niet-autisten vinden de Zweden een standaarddeviatie van 11,2. Bij de autisten vinden ze maar liefst 18,8. Een waarde die niet vele malen kleiner is, maar meer dan anderhalf keer zo groot.

De autisten scoren verder ver buiten het gebied van de normale bevolking. De hoogste scores in de groep niet-autisten lopen tot 130, de scores van de autisten lopen door tot 175. Dat is een verschil van 45 punten. Uitgaande van de standaarddeviatie van de niet-autisten komt dat overeen met 4 standaarddeviaties. De meest extreme autisten zouden 6,4 standaarddeviatie van het gemiddelde afzitten. Ter vergelijking: dat komt overeen met een IQ van 196 (bij een gemiddelde van 100 en een standaarddeviatie van 15).

Wat is de kans op een dergelijke waarde (z=6,4) wanneer autisme, zoals Baron-Cohen en anderen stellen, normaal verdeeld is in de bevolking. De calculators op internet konden deze extreme waarde vaak niet meer aan. Tenslotte vond ik een calculator (hier) die rapporteerde dat de kans hierop kleiner was dan 1 op de 10 miljard. Je zou in doorsnee meer dan 10 miljard mensen moeten onderzoeken om één iemand te vinden die zo extreem autistisch is. Kennelijk klopt er iets niets.

Ook de derde veronderstelling levert problemen. Autisten zouden niet heel laag mogen scoren. Maar het Zweedse onderzoek geeft aan dat sommige autisten 75 en 80 scoorden op de AQ. Veel lager scoren op de AQ is in de praktijk niet mogelijk.

Hoe vallen al die ongerijmdheden te begrijpen? Allereerst is het plausibel dat het 'diagnostisch proces' de plank regelmatig misslaat. Bij medische diagnoses die niet gebaseerd zijn op hard onderzoek is dat vrij normaal en misschien ook wel begrijpelijk. Dat sommige mensen die laag scoren op de AQ dus toch gediagnosticeerd zijn als 'autistisch' lijkt daarmee goed verklaarbaar.

Dat de autisten vaak ver buiten het gebied van de bevolking (de niet-autisten) scoren, betekent dat de steekproef van de niet-autisten (diverse studenten) kennelijk geselecteerd is op autisme. Wie al te autistisch is, wordt (in Zweden) kennelijk geen student of blijft dat niet of kwam om een andere reden niet in de steekproef terecht.

Wanneer we die twee veronderstellingen accepteren, is ook verklaard waardoor de spreiding van de groep autisten groter uitvalt dan de spreiding van de groep niet-autisten. In werkelijkheid is de spreiding van de AQ in de bevolking kennelijk meer overeenkomstig de waarde die we voor het totaal van beide groepen vonden: 6,3 (de gepoolde standaarddeviatie).

Wanneer we kijken naar het Zweedse onderzoek lopen de AQ-scores die men gevonden heeft van 70 tot 175. Omgerekend naar de scoring van Baron-Cohen komt dat neer op: lopend van ongeveer 7 tot 42. Dat is een traject van 35 autisme-punten. Wanneer autisme inderdaad normaal verdeeld is in de bevolking zou je verwachten dat vrijwel iedereen in een gebied van 3 standaarddeviaties onder en 3 boven het gemiddelde moet vallen. Ook op die manier vind je een waarde voor de standaarddeviatie in de bevolking van ongeveer 6.

Een consequentie van die veel grotere standaarddeviatie is dat het verschil tussen autisten en niet-autisten nog belangrijk kleiner wordt. In het Zweedse onderzoek werd een verschil van 8,3 gevonden tussen de autisten en de niet-autisten en een standaarddeviatie van 3,7 (uitgaande van de 0/1-itemscoring van Baron Cohen waarbij de AQ-score loopt van 0 tot 50). Het verschil zou 2,2 standaarddeviatie bedragen. Bij een standaarddeviatie van 6,3 reduceert dat verschil tot 1,3 standaarddeviatie. Nog steeds een aanzienlijk verschil, maar belangrijk kleiner dan Baron-Cohen het in zijn boek voorstelde. 


Conclusie

Een eerste belangrijk punt lijkt me dat de theorie van Baron-Cohen over autisme, wat resulteerde in de vijf subschalen van de AQ, op geen enkele manier bevestigd is. Kennelijk is 'autisme' inderdaad een begrip waarvan de betekenis niet goed duidelijk is.

Een tweede punt is dat de AQ slechts een matige interne consistentie (betrouwbaarheid) heeft. De coëfficiënt alfa die ik kon berekenen was 0,73. Een waarde die voldoende is om verder onderzoek te rechtvaardigen, maar die onvoldoende is voor alle praktische toepassingen. De items van de schaal bevatten te veel ruis. Men heeft het begrip dat men wil meten, niet duidelijk. Dit resultaat stemt overeen met het eerdere resultaat van de mislukte subschalen en stemt overeen met wat de Zweedse onderzoekers melden.

Het derde punt is dat de autisten inderdaad gemiddeld hoger scoren op de AQ dan niet-autisten. De vragenlijst is niet alleen (beperkt) betrouwbaar, maar in dit opzicht ook valide. Door de matige betrouwbaarheid is de AQ echter alleen bruikbaar voor onderzoek aan groepen. Voor individuele toepassingen is een alfa-betrouwbaarheid van 0,73 onvoldoende.

Het vierde punt is dat de standaarddeviatie van de AQ kennelijk veel groter is dan de 3 punten die Baron-Cohen rapporteert. Er lijken goede argumenten te bestaan om te denken dat de standaarddeviatie in de bevolking in werkelijkheid ongeveer 6 moet bedragen (volgens de 0/1-itemscoring van Baron-Cohen waarbij de AQ-score loopt van 0 tot 50).

Dat betekent dat de verschillen tussen autisten en niet-autisten die met de AQ gevonden worden, uitgedrukt in standaarddeviaties, belangrijk kleiner zijn dan door autisme-onderzoekers is gesuggereerd.