De aanleg voor facisme meten met de beruchte F-schaal: wil dat?

Het boek The Authoritarian Personality (TAP) verscheen in 1950 en vormt het tastbare begin van het empirische onderzoek naar discriminatie en agressie.

Mijn vorige post eindigde met de 'mislukte' check van Levinson. Hij probeerde aan te tonen dat zijn etnocentrisme-maat de aanleg voor fascisme mat. De enige manier om dat te doen, is een andere maat waarmee je die aanleg probeert te meten. Als tweede maat koos hij PEC (Politiek-Economisch Conservatisme). Wij zouden zeggen: het politieke links-rechts onderscheid.

Levinson vond een matige correlatie en realiseerde zich niet, dat dat kwam door de onbetrouwbaarheid waarmee gemeten was. Hij dacht daardoor dat er slechts een zwak verbond bestond tussen beide variabelen. Etnocentrisme en links-rechts waren kennelijk lang niet hetzelfde, concludeerde hij.

De 'mislukte' F-schaal

De rest van de onderzoekers zag het resultaat van Levinson echter totaal anders. Men vond dat men goed op weg was. De resultaten van Levinson zag men als een mooi begin. Maar het uiteindelijke doel was natuurlijk aan te tonen dat fascisme een echt persoonlijkheidskenmerk was. Dat het niet een oppervlakkig iets was. Het echte doel was aan te tonen dat fascisme diep in de menselijke psyche wortelde.

Voor een psychometricus is dat een vreemde uitspraak. Hoe weet je of iets diep in de menselijke psyche wortelt? Iets is een persoonlijkheidseigenschap, zodra je het betrouwbaar kunt meten. Vervolgens is verder onderzoek nodig om uit te zoeken, wat je precies gemeten hebt. Levinson kon betrouwbaar meten. Verder was duidelijk dat hij inderdaad etnocentrisme (bevooroordeeldheid) had gemeten, want de verschillende subschalen van zijn maat correleerden goed. De enige vraag die nog over bleef, was: had hij inderdaad de gezochte aanleg voor fascisme te pakken?

De onderzoeksgroep zag het echter anders. Aanleg voor fascisme aantonen moest subtiel gebeuren door op een indirecte manier de diepere persoonlijkheid bloot te leggen. Men zette volledig in op de -- op dat moment -- nog te construeren F-schaal.

Het idee achter de F-schaal was dat men de geneigdheid tot fascisme indirect wilde meten. Men wilde geen directe vragen over Joden, negers, buitenlanders, homoseksuelen en dergelijke voorleggen.

Verder vonden de auteurs de term 'fascisme' te beladen. Men maakte er daarom van: 'impliciet anti-democratische opvattingen'. Maar een dergelijke terminologische draai heeft natuurlijk geen enkel gevolg voor de vragenlijst die je uiteindelijk produceert.

Hoe meet je die verborgen anti-democratische opvattingen? De auteurs hadden hiervoor 9 subschalen bedacht. Niets verkeerds mee in beginsel, precies zoals het zou moeten. In totaal leidde dat echter tot 30 items. Wie hier even rekent, ziet het probleem. Per subschaal heb je slechts 3 vragen. Dat betekent, dat je subschaal-scores zeer onbetrouwbaar zullen zijn. De subschaal-aanpak was op deze manier bij voorbaat gedoemd te mislukken.

In verhouding tot het aantal items van de etnocentrisme-maat (5 items in de korte versie van de vragenlijst) en de PEC-schaal (ook 5 items) was de F-schaal zes keer zo lang. De auteurs zagen de F-schaal als zes keer zo belangrijk als de twee andere schalen. Misschien niet onbegrijpelijk. De E-schaal en de PEC-schaal waren van alleen Levinson. De F-schaal was officieel het werk van alle auteurs samen.

Wat waren de resultaten? Het eerste probleem met de F-schaal was dat de negen subschalen onderling niet beter bleken te correleren dan op grond van toeval verwacht mocht worden (p. 262).  De correlaties tussen de items van de verschillende subschalen waren in doorsnee even hoog als de correlaties van de items van dezelfde subschalen. De indeling in subschalen had geen meerwaarde.

Wanneer je de subschalen ziet als de concretisering van de theorie die de auteurs hadden over fascisme, dan was die theorie hiermee weerlegd. Er klopte kennelijk niets van hun ideeën over fascisme. In het boek zelf vermeldt men het negatieve resultaat wel, maar niet deze harde conclusie.

Gelukkig bleken de dertig items samen toch iets te meten. De items correleerden onderling positief, maar niet echt hoog. Uit de gemiddelde onderlinge correlatie die het boek vermeldt (0.13 op p. 261) valt via de formule voor testverlenging eenvoudig de alfa-betrouwbaarheid te berekenen. Voor 30 items vond ik 0.82. De F-schaal was redelijk betrouwbaar.

Maar wat mat men nu precies? De enige manier om daar een idee van te krijgen, is te kijken naar de correlaties met beide andere schalen. De correlatie met de Etnocentrisme-schaal bedroeg 0.73. Niet echt hoog, maar ook niet echt laag. Beide schalen leken ongeveer 50 procent variantie gemeenschappelijk te hebben.

De correlatie met de PEC-schaal viel nog lager uit. Die bedroeg slechts 0.52. Ogenschijnlijk hadden beide maten slechts een 25 procent variantie gemeenschappelijk.

Je hebt al je kaarten gezet op de F-schaal. Helaas blijken de subschalen onderling niet goed te correleren. Je theorie over fascisme klopt kennelijk niet. In totaliteit blijkt de vragenlijst echter toch nog redelijk betrouwbaar te zijn.

Het enige dat je nog nodig hebt, is een andere variabele, die bevestigt dat je inderdaad de aanleg voor fascisme gemeten hebt. De PEC-schaal lijkt af te vallen. Die correlatie lijkt te laag. De enige andere correlatie die je overhoudt, is die met etnocentrisme. Maar die correlatie bedraagt slechts 0.73. Kennelijk hebben de F-schaal en etnocentrisme ongeveer de helft van de variantie gemeenschappelijk, maar de andere helft niet.

Wanneer je op die manier naar de uitkomsten kijkt, hebben de auteurs een dappere poging gedaan de aanleg voor fascisme meetbaar te maken, maar is het niet duidelijk of dat echt gelukt is. De auteurs presenteerden de F-schaal als de grote doorbraak. Dat was de maat om geneigdheid tot fascisme te meten, stelden ze. Vervolgens konden ze die bewering niet hard maken met een tweede maat, die hetzelfde opleverde.

Drie maten die alle drie bevooroordeeldheid (generalized prejudice) meten

Laten we echter nog eens naar de uitkomsten kijken. De onderzoekers probeerden de aanleg voor fascisme te meten. In totaal probeerden ze dat met drie verschillende instrumenten: de Etnocentrisme-schaal (de E-schaal), de Politiek-Economisch Conservatisme-schaal (de PEC-schaal) en de maat voor 'impliciet anti-democratische opvattingen' (de F-schaal).

Meet de F-schaal inderdaad iets als 'de aanleg voor fascisme'? In dit verband hebben we slechts twee correlaties. Namelijk 0.73 met etnocentrisme en 0.52 met PEC. Maar beide correlaties moeten we natuurlijk nog corrigeren voor de onbetrouwbaarheid waarmee gemeten is.

De (alfa-)betrouwbaarheid van E, F en PEC (die ik kon vinden of kon berekenen) was respectievelijk: 0.79, 0.82 en 0.45. Na correctie voor onbetrouwbaarheid wordt de correlatie tussen de E-schaal en de F-schaal 0.91. De correlatie tussen de F-schaal en PEC wordt 0.86. De correlatie tussen E en PEC bedraagt na correctie 0.96.

Met andere woorden: alle drie schalen meten precies dezelfde factor. De onderzoekers hebben op drie verschillende manieren bevooroordeeldheid (de 'zooifactor', generalized prejudice) gemeten.

Een complicerende factor is dat de onderzoekers in hun uiteindelijke onderzoek twee verschillende vragenlijsten hanteerden: 'Form 40' en 'Form 45'. De eerste vermelde vragenlijst had 40 items, de tweede 45. Het verschil zat in het aantal items voor de E-schaal. De ene keer bedroeg dat slechts 5, de andere keer 10. De betrouwbaarheden van die twee E-schalen verschilde dus. Maar ook wanneer met dit punt rekening werd gehouden, kwam ik niet tot wezenlijk andere conclusies.

Alle drie maten leveren, mits je rekening houdt met de soms zeer matige (alfa-)betrouwbaarheid, vrijwel precies dezelfde resultaten. Men heeft op drie verschillende manieren bevooroordeeldheid (generalized prejudice) meetbaar gemaakt. Bevooroordeeldheid is dus de maat die de aanleg voor fascisme bepaalt. (Inmiddels is dat ook via tenminste twee andere onderzoeken bevestigd.)

De auteurs van TAP waren met dit fraaie resultaat echter niet op de hoogte. Kennelijk was hun beheersing van statistiek en psychometrie niet helemaal, wat die idealiter misschien had moeten zijn. Onderwerpen als statistiek en dergelijke werden door iemand als Adorno verafschuwd.

Dit blijkt op meer punten in het boek. Zo wordt op p. 258 gesteld dat als de betrouwbaarheid van een maat hoog is, dat betekent dat individuen op die maat geordend kunnen worden. Dat lijkt plausibel en dat geldt ook als men met 'betrouwbaarheid' de alfa-betrouwbaarheid bedoelt (coëfficiënt alfa), de mate waarin de items onderling samenhangen (hetzelfde meten). Maar het geldt niet als men de test-hertest correlatie bedoelt. Uit de tekst onder 'correlational analysis' op p. 261 in TAP blijkt dat men inderdaad de test-hertest betrouwbaarheid bedoelde. In dat geval klopt de uitspraak dus niet.

Een ander punt waaruit de problemen met statistiek en psychometrie blijken, is het uitrekenen van de correlatie tussen variabelen per steekproef. Vervolgens neemt men al die steekproeven samen door de gevonden correlaties te middelen. Het gevolg is echter dat de vermelde correlaties te laag uitvallen. Je wilt de correlatie in de grote groep weten, maar in kleine, selecte groepen treedt altijd selectie op, waardoor je 'restriction of range' krijgt en de correlatie lager uitvalt.

Van de drie maten voor fascisme (bevooroordeeldheid) die de auteurs ontwikkeld hebben, was niet de F-schaal het meest solide geconstrueerd, maar de Etnocentrisme-schaal van Levinson. Deze schaal beschikte immers als enige over onderling goed correlerende subschalen. Daardoor was duidelijk dat deze schaal inderdaad etnocentrisme (bevooroordeeldheid, 'generalized prejudice') moest meten.

Het antwoord op de vraag of we met de F-schaal aanleg voor fascisme kunnen meten, moet dus luiden: ja, dat kan. En het kan ook met de Etnocentrisme-schaal van Levinson (of een andere maat voor 'generalized prejudice'). En -- als de informatie in TAP klopt (bevestigd wordt door ander onderzoek) -- het kan ook via een schaal die de voorkeur voor politiek links of rechts meet.