Laatst bijgewerkt: 12/3/2024 om 16.31
Ik zie het nieuws laat in de nacht of vroeg in de ochtend, het is maar hoe je het tijdstip van kwart over vijf 's ochtends aanduidt. De kop staat op het voorblad van het Dagblad van het Noorden. Elf procent van de elfjarigen wil van het andere geslacht zijn.
Dit is een blog over discriminatie, niet over transgenders en transgenderisme. Wat heeft dit nieuws te maken met zaken als discriminatie, geweld, agressie, corruptie, oorlog, burgeroorlog en genocide? Ogenschijnlijk niets, maar in werkelijkheid heel veel.
Wat betekent het, wanneer elf procent van de elfjarigen aangeeft het eens te zijn met de stelling, 'Ik wil van het andere geslacht zijn'?
Ik zou denken, dat dat betekent dat een belangrijk deel van die elfjarigen geslacht ziet als iets, dat je zelf kunt en mag kiezen. Terwijl we het vroeger zagen als iets dat je nu eenmaal was. Je was 'jongen' of 'meisje'. In werkelijkheid waren er natuurlijk ook mensen die er lichamelijk wat tussenin vielen, maar daar hielden we op die leeftijd nog geen rekening mee.
Maar als je geslacht ziet als iets dat je zelf mag kiezen, betekent dat ook, dat je leeft vanuit je ideeënwereld. Je voelt je (voor jezelf meer aangetrokken tot) de tegenovergestelde sekse en daarom zie je dat, als wat je eigenlijk bent en wilt zijn. Een typisch geval van systeem 1 denken. Dat is echter nog niet alles.
Denken vanuit de onderbuik (via systeem 1) is typerend voor bevooroordeeldheid. Dat is de centrale variabele die aangeeft of mensen discrimineren, agressief zijn, impulsief handelen, corrupt zijn, zaken verzinnen, liegen, 'mooi' praten en toch ook heel belangrijk: of ze enthousiast de (aspirant) strongman zullen steunen.
Elf procent van de elfjarigen die kiest voor de tegenovergestelde sekse, laat dan zien dat er in de samenleving op het punt van bevooroordeeldheid (systeem 1 denken) iets heel erg mis zit, ben ik dan geneigd te denken.
Die conclusie past perfect bij wat we via een veelheid van andere indicatoren al weten. De handjes zitten steeds losser aan het lijf, verkeersdeelnemers maken steeds meer ongelukken, brugdelen vallen onbedoeld uit de takels, plafonds en vloeren komen onverwachts naar beneden, het wegdek in tunnels wordt opeens door opwellend water omhoog gestuwd en ga zo maar door.
Maar klopt dat verhaal uit de krant in dit geval wel helemaal? Het kan best zijn dat die onvrede met het biologische geslacht inderdaad is toegenomen en dat ook de rest van mijn verhaal hierboven daardoor helemaal klopt. Maar in tweede instantie zie ik toch ook enkele problemen, waardoor die conclusie wat prematuur is.
Een eerste probleem dat ik zag na het opvragen van het onderzoeksrapport waarop het hele verhaal gebaseerd is (https://link.springer.com/article/10.1007/s10508-024-02817-5), is dat de onderzoekers op een belangrijk punt, een punt waar in feite hun hele onderzoek op gebaseerd is, hebben volstaan met één enkele vraag.
Psychologen hebben daar slechte ervaringen mee. Hoe weet je dan zeker dat de bedoeling van de vraag echt is overgekomen? Veel kinderen hebben tegenwoordig leesproblemen en begripsproblemen. Verder had je altijd al een belangrijke groep kinderen, waar iets mee was op het gebied van leren en intelligentie, waardoor ze al problemen hadden met simpele vragen.
Stel je voor dat deze hele blog over empirisch onderzoek naar discriminatie gebaseerd zou zijn op één enkele vraag, namelijk: bent U antisemiet? Vrijwel iedereen zou vermoedelijk antwoorden: 'nee'.
Als enige optie zouden we vervolgens moeten concluderen dat er eigenlijk helemaal geen antisemieten waren te vinden. Maar als je dan nog verder doordenkt: dan kunnen er dus ook nooit mensen geweest zijn, die de Holocaust uitvoerden en mogelijk maakten. En als je vervolgens dan nog verder door zou redeneren, zouden we ons moeten bekeren tot het leger van de Holocaust-ontkenners. Met andere woorden: onderzoek doen is prima, maar je moet het wel serieus en goed doen.
Kortom, als je je hele onderzoek ophangt aan het begrijpen van een enkele vraag, dan is er in je universitaire opleiding behoorlijk wat, heel erg mis gegaan.
Voor de goede orde: dit waren onderzoekers van het UMCG. Dat betekent niet, dat alle onderzoekers daar van dit kaliber zijn, zeker niet, maar je mag dus ook niet uitsluiten dat sommigen dat wel zijn.
Een volgend probleem waar ik tegen aanliep is: welke vraag hebben de onderzoekers nu precies gebruikt? Toch wel belangrijk, als je je hele onderzoek ophangt aan één enkele vraag. Volgens het onderzoeksverslag deze:
"I wish to be of the opposite sex".
Maar dit waren Nederlandse kinderen. Je zou denken, dat de onderzoekers die vraag dan wel vertaald zullen hebben en mogelijk hebben ze dat ook gedaan, maar het staat niet vermeld in hun verslag. Als alles draait zoals in dit geval om één enkele vraag, vind ik dat uiterst onzorgvuldig en slordig.
Volgens de krantenartikelen was de stelling die men gebruikt heeft echter:
"Ik wil van het andere geslacht zijn".
Maar is 'ik wens van het andere geslacht te zijn' inderdaad precies hetzelfde als 'ik wil van het andere geslacht zijn'? De ervaring leert, dat zodra je een kleinigheid verandert aan een geformuleerde vraag, je heel veel verandert. Als je dan dus in je artikel wel de Engelse variant vermeldt, maar niet de Nederlandse vertaling, is het hele onderzoek in feite oncontroleerbaar geworden. In meer wetenschappelijke termen: niet repliceerbaar. Bull-shit dus.
Dan de antwoordmogelijkheden. Een ja/nee-vraag of een waar/onwaar-vraag is qua beantwoording vaak het simpelst. Maar in dit geval waren de antwoordalternatieven:
0-Not True, 1-Somewhat or Sometimes True, 2-Very True or Often True.
Als je kiest voor 'Not True', wat betekent die '0-' daarvoor dan precies daarvoor? Voor een respondent lijkt me die '0' nodeloos verwarrend.
Dan dat tweede alternatief. Je krijgt een stelling voorgelegd en die stelling zou 'somewhat' (een beetje) waar zijn. Ik leerde vroeger bij logica dat een stelling waar was of niet. Maar een beetje waar? Dat kan alleen als je gevoelsmatig denkt, via systeem 1.
Alsof dat allemaal nog niet genoeg is, krijgt de respondent vervolgens ook nog een extra keuze. In plaats van 'somewhat' mag hij/zij ook lezen 'sometimes' (soms). Voor het derde alternatief geldt dit probleem op dezelfde wijze.
Vervolgens ging ik op zoek naar die elf procent. Voor dat je dat kunt doen, moet je eerst de respondentengroep een beetje duidelijk hebben en hoe men daar precies aankwam. Wel, dat viel niet mee. De onderzoekers vermelden slechts dit:
"We used data from the Tracking Adolescent’s Individual Lives Survey (TRAILS). Detailed information about TRAILS sampling procedures is provided elsewhere (Oldehinkel et al., 2015). In this study, data from both the population cohort (TRAILS) and the clinical cohort TRAILS-CC were used (combined: N = 2772; 53% male at T1) to enrich the sample for common child psychiatric diagnoses (see Table 1 for the sample characteristics)."
Als onderzoeker en wetenschapper heb ik geleerd dat onderzoek op eigen benen behoort te staan. Toen Galilei zijn valproeven deed, min of meer het begin van de moderne, empirische wetenschap, refereerde hij niet aan de literatuur op zijn gebied van eerdere grootheden voor hem of aan waarnemingen van horen zeggen. Integendeel: hij sloeg zelf de hand aan de ploeg. Hij ging zelf experimenteren en meten. Wat hij bij zijn 'valproeven' aan metingen vond, kun je zelfs nu nog steeds (zelfs via internet) nalezen.
Maar deze onderzoekers zeggen eigenlijk: ja, luister eens, van die dataverzameling weten we eigenlijk geen flikker af. En het interesseert ons ook geen bliksem. Dat staat elders wel ergens beschreven. Als je het echt wilt weten, zoek je het maar na.
Maar onderzoek staat en valt met de onderliggende dataverzameling. Hoe kun je er anders zeker van zijn, dat die data kloppen? Wie is er dan precies verantwoordelijk voor die data?
Als data-anlyst in de sociale wetenschappen was altijd de eerste stap, waarmee ik begon, de data te checken. De doorsnee psycholoog vond dat bespottelijk, maar vrijwel altijd bleek er wel iets en soms heel veel niet te kloppen.
In dit geval krijgen we echter via het onderzoeksverslag geen enkele duidelijkheid en geen enkele garantie voor de validiteit en juistheid van de data waar men alles op stelt te baseren. Er wordt van ons gevraagd: er het beste maar van te hopen. De onderzoeker hebben het niet gecheckt en als wij als lezers dat nu ook maar niet doen, mogen we hun 'mooie' verhaal zo geloven.
Wie waren de respondenten? Ook dat wordt in het artikel niet duidelijk. Hoeven we als lezers kennelijk ook niet te weten. Gewoon kinderen!
Ook de opzet van het onderzoek laat zich uit de tekst nogal moeizaam achterhalen. Men heeft een groep kinderen op een of andere manier geselecteerd en die een aantal jaren gevolgd, waarbij men steeds na verloop van enige tijd, opnieuw data verzamelde bij wat nog over was van de oorspronkelijke groep. In het kader van deze blogpost doen die latere dataverzamelingen verder niet ter zake, omdat we ons concentreren op die eerste meting bij elfjarigen, maar het feit dat je je opzet zo knullig beschrijft, vertelt iets over je niveau als onderzoeker.
Zijn de uitkomsten van deze meting representatief voor doorsnee kinderen? Wat blijkt uit het citaat hierboven is dat de respondentengroep bestond uit twee delen. Men had kennelijk ongeveer 80% redelijk normale kinderen in de respondentengroep en ongeveer 20% kinderen die een psychiatrische diagnose hadden. Met andere woorden: de totale groep was volledig niet representatief!
Goed, maar we zijn nog steeds op zoek naar die 11 procent. Is dat nu een verzinsel van de pers of staat het echt in het onderzoeksverslag? In het 'abstract' van het verslag staat dit:
"In early adolescence, 11% of participants reported gender non-contentedness."
Met 'early adolescence' bedoelt men kennelijk de respondenten als ze rond de elf jaar zijn. Met 'gender non-contentedness' bedoelt men, niet schrikken:
"Gender non-contentedness was assessed with the item "I wish to be of the opposite sex" of the Youth Self-Report (YSR; Achenbach & Rescorla, 2001) at T1 through T3 and with the same item of the Adult Self-Report (ASR; Achenbach & Rescorla, 2003) at T4 through T6. Participants indicated to which extent the statement applied to them during the past six months, by rating each item on a three-point Likert scale: 0-Not True, 1-Somewhat or Sometimes True, and 2-Very True or Often True"
De bedoeling was dat de respondenten aangaven of de uitspraak, dat men de andere sexe wilde zijn voor hen van toepassing was: 'gedurende de afgelopen 6 maanden'. Met andere woorden: weer een extra bepaling in de vraag om de hele zaak nog moeilijker en lastiger te maken voor deze arme ongeveer elfjarigen.
Wat bedoelt men hier met 'Likert scale'. Als psychometricus ben ik uiteraard vertrouwd met die term, maar weet ik ook dat verschillende mensen daar verschillende dingen onder verstaan. De vraag is dus: wat bedoelt men er hier mee?
In dit geval gaat het om een enkel item. Men bedoelt er dan kennelijk een beoordelingsschaal mee, die loopt van helemaal oneens naar helemaal eens, waarop de respondent de intensiteit van zijn gevoel kan aangeven. Dus dit idee:
helemaal oneens I----------------------------------------------I helemaal eens.
De bedoeling is dat de respondent op het schaaltje via een kruisje aangeeft, waar men zit.
Onderzoekers vinden zo'n glijdende schaal echter vaak onhandig en perken dan de keuzemogelijkheden in. In dit geval had de respondent drie mogelijkheden.
In dit geval zouden we dan krijgen:
0-Not True / 1-Somewhat or Sometimes True / 2-Very True or Often True.
De alternatieven staan in volgorde van toenemende intensiteit. Het lijnstukje waarop men een kruisje kan plaatsen, heeft in dit geval geen functie meer en heb ik weggelaten. De bedoeling is dat de respondent het gewenste alternatief omcirkelt of onderstreept.
Maar op een normale Likert beoordelingsschaal is het midden altijd neutraal. Je bent het niet oneens met de stelling, maar ook niet eens. Je onthoudt je van een oordeel. Het middelste alternatief is hier '1-Somewhat or Sometimes True'.
Dat betekent dus dat elfjarigen die het een lastige of moeilijke vraag vonden, veiligheidshalve het neutrale midden gekozen zullen hebben. De hoge response op deze vraag duidt daar ook op, men kon gewoon neutraal antwoorden. Er was geen reden de vraag over te slaan. De onderzoekers zien de keuze voor het neutrale midden echter at als een absoluut bewijs voor de 'gender non-contentedness' van de respondent.
Het wordt echter nog gekker. We waren op zoek naar de 11 procent, die men in het 'abstract' vermeld heeft. Men heeft gemakshalve beide groepen (de gewone en de psychiatrisch gediagnostiseerde kinderen) bijelkaar genomen. Als je dat doet, krijg je de volgende aantallen. Ik zet ze in de volgorde van de schaalalternatieven:
2392 / 250 / 66.
Van de in totaal 2772 respondenten hebben 2392 + 250 + 66 = 2708 deze vraag beantwoord. Dat is afgerond 98 procent. Voor zo'n lastige vraag best veel. Dat maakt het extra plausibel, dat relatief veel respondenten gemakshalve het middelste alternatief hebben gekozen.
De onderzoekers hebben vervolgens alle respondenten die alternatief 2 en alternatief 3 kozen, bijelkaar gekieperd. Duidelijk allemaal genderproblemen, geen twijfel mogelijk! Dat levert 250 + 66 = 316 respondenten op met een verondersteld genderprobleem.
Maar 316 van 2708 respondenten levert op 11,7 procent. Afgerond: 12 procent. En niet 11 procent zoals de onderzoekers stellen!
Nu scheelt dat maar een enkel procentje en het zou een ongelukkige en slordige afrondingsfout kunnen zijn. Aan de andere kant wordt dat foute percentage wel vermeld in het abstract en gecommuniceerd naar de pers. Je communiceert iets nadrukkelijk, maar je neemt niet de moeite om het eerst minstens drie keer te checken. Ben je dan een 'wetenschappelijk onderzoeker' of een 'ordinaire praatjesmaker'?
Dat is echter opnieuw nog niet alles. Wie de percentages in 'Table 1' van het artikel gaat checken, vindt een hele reeks percentages, die niet klopt. Men heeft er niet eenmaal een potje van gemaakt, maar men heeft er systematisch een potje van gemaakt.
Nog zijn we er niet. Men stelde nadrukkelijk uit te gaan van een Likert-scale en vermeldde bij de alternatieven zelfs de schaalwaarden. Bij een Likert-scale tel je de punten van de respondent op alle vragen op tot de totaal-score. In dit geval was er slechts één vraag en haalt een respondent dus 0, 1 of 2 punten.
Maar dat betekent dus in ieder geval wel, dat je de respondenten die om wat voor reden dan ook kozen voor het middelste alternatief ook echt half moet rekenen. Je kunt als onderzoeker niet zo maar even een half goed antwoord opwaarderen tot een volledig goed antwoord. Deze 'onderzoekers' zien het probleem -- dat ze volledig zelf onnodig in het leven hebben geroepen -- echter niet. Waarom zou je de twijfelaars niet een puntje extra geven, moeten ze gedacht hebben.
Als je het resultaat op de juiste manier berekent, krijg je: 250 x 0.5 + 66 = 191. Dat levert 191 van 2708 op, of 7,1 procent. Een belangrijk lagere waarde dan de 11 procent die de onderzoekers gevonden zeggen te hebben. En ook dan geldt nog steeds, dat die grote groep die het middelste alternatief koos mogelijk als neutraal antwoord toch volledig wordt meegerekend.
Waarom dit geknoei met uitkomsten? Het artikel levert het antwoord. De 'onderzoekers' wilden aantonen dat genderdysforie in de jeugd heel normaal is. Men begon dus met een foute insteek. Men dacht niet, hoe zit dit nu precies? Nee, men wilde aantonen dat genderdysforie in de jeugd heel normaal is.
Vervolgens heeft men vanuit die instelling de nodige moeite gedaan om een lekker hoog percentage te 'vinden'. In werkelijkheid dus: 'te scheppen'.
Het doel van het onderzoek was niet te achterhalen, hoe het werkelijk zit in de harde wereld. Het doel van de 'onderzoekers' was hun geloof zo met 'feiten' te onderbouwen, dat ze het vervolgens breed konden communiceren. En het is duidelijk dat deze 'onderzoekers' in die opzet ook geslaagd zijn. Hun verhaal stond in ongeveer alle media.
Maar in werkelijkheid is dit niet het verhaal van serieuze onderzoekers, maar het verhaal van volgelingen/gelovigen die met hun boodschap een groot publiek aan zich hopen te binden en daardoor zelf in status hopen te stijgen. Het is in wezen een ultra-rechts strongman-verhaal. Het is een 'mooi' verhaal ophangen, dat niet klopt met de harde feiten.
Het lijkt me heel plausibel dat er veel kinderen zijn, die tijdelijk of misschien zelfs steeds, liever de andere sekse zouden zijn, mits je dat echt zou kunnen kiezen. Waarom niet? Maar dit onderzoek toont dat helaas niet overtuigend aan.
Wat dit onderzoek wel aantoont, is dat sommige onderzoekers de benaming 'onderzoeker' niet verdienen. We kunnen dat soort mensen misschien beter benoemen als 'pseudo-wetenschappelijke praatjesmakers'.
In dit geval is er echter nog belangrijk meer dan alleen een pseudo-wetenschappelijk artikel in een erkend tijdschrift met een onzin-verhaal. Het verhaal heeft in de landelijke media royaal aandacht gekregen. Slecht onderzoek is iets van alle tijden.
Maar dat de uitkomsten van zo'n onderzoek vervolgens massaal worden overgenomen door de dames en heren journalisten, zonder dat iemand ook maar even een poging doet het verhaal te checken, is mijns inziens een teken aan de wand.
Deze uitkomsten passen naadloos in de grote trend van deze tijd. Steeds meer gebabbel en geleuter, steeds meer borrelpraat en onderbuik-verhalen. We kunnen dat meten als toenemende bevooroordeeldheid. En we merken het als toenemende irrationaliteit en andere gekkigheid. Al met al voorspelt dit helaas weinig goeds.
Geen opmerkingen:
Een reactie posten