zaterdag 22 september 2018

De oplossing van het nepnieuws-probleem


Wat me opvalt in de artikelen die de NRC tot nu toe gepubliceerd heeft in het kader van De week van het nepnieuws, is dat men het begrip niet definieert. Het woord 'nepnieuws' bestaat, dat hoor je, dat zie je, dat roept een bepaald gevoel bij je op, dus het ding nepnieuws moet ook bestaan. Geen twijfel mogelijk!

We hebben het woord 'facisme'. Iedereen gebruikt dat woord. Dat woord roept sterkte gevoelens op. En dat woord roept associaties op. We denken bijvoorbeeld aan Adolf Hitler. Fascisme bestaat dus, geen twijfel mogelijk!

Empirische wetenschappers, bèta's, willen fascisme echter kunnen zien en het liefst kunnen manipuleren. Ze willen het het liefst kunnen bestuderen in een laboratorium. En dan wordt het lastig, want: wat is 'fascisme' precies?

Toen men tijdens de Tweede Wereldoorlog begon aan de empirische bestudering van fascisme, wilde men snel resultaten. Het ging dus niet over de vraag: wat is fascisme precies? Maar het ging over de vraag: wat is de oorzaak van fascisme? Wie snel wil, neemt vaak een sprongetje en slaat de eerste stap over.

Het gevolg was dat de publicatie die uit dat onderzoek vloeide één groot onontwarbaar kluwen van ideeën, begrippen, woorden en waarnemingen werd. Ik heb het over het boek The Authoritarian Personality (1950).

Dat kluwen van begrippen (woorden dus) werd uiteindelijk ontward door Bob Altemeyer via een eindeloze hoeveelheid empirisch onderzoek. Dit resulteerde in 2006 in zijn boek: The Authoritarians. Het ontwarren van het kluwen kostte uiteindelijk meer dan vijftig jaar vasthoudend onderzoek en piekeren. Altemeyer drukte dat uit door te zeggen dat hij in deze periode geleerd heeft dat 'research' betekent 're-search'. Onderzoek doen is steeds opnieuw zoeken net zo lang tot je de heilige graal gevonden hebt.

Strikt genomen waren we er na het boek van Altemeyer nog niet helemaal. Een 'fascistisch systeem' ontleent zijn bestaan aan drie samenwerkende variabelen: sociale dominantie, autoritarisme en bevooroordeeldheid. Dat leek tenslotte wel duidelijk te zijn. Maar hoe die drie variabelen werkelijk in elkaar grijpen, werd pas kort geleden duidelijk (althans mij en de lezers van deze blog). De strongman trekt met bevooroordeeldheid. 'Facisme' kun je dus gelijk stellen aan bevooroordeeldheid, terwijl de 'oorzaken' (de bronnen) voor dat fascisme zitten in de twee andere variabelen: sociale dominantie en autoritarisme.

Door maar in het wilde weg met woorden en termen te gooien, hield men zichzelf meer dan zestig jaar bezig met het ontwarren van het kluwen dat men zelf gemaakt had. Het is dus handig om eerst begrippen duidelijk te definiëren en pas daarna allerhande uitspraken de wereld in te slingeren. Als men rustig, systematisch en rationeel gewerkt had, was men misschien in 6 jaar geweest waar we nu na meer dan 60 jaar zijn aangekomen.

In het geval van 'facisme' en 'nepnieuws' is er nog een bijkomende reden om woorden te wantrouwen. Bepaalde mensen nemen een woord op face-value. Het ziet er indrukwekkend uit, het klinkt goed, dan moet het dus wel goed zijn. Andere mensen willen dat dat woord een precies omschreven betekenis krijgt, die dat woord koppelt aan de waarneembare werkelijkheid. Het woord 'eenhoorn' bestaat, dus bestaan eenhoorns ook, vindt de eerste groep. De tweede groep gelooft pas in het bestaan van die 'eenhoorns' al ze die beesten ook kunnen waarnemen. Dit conflict over wat een woord precies betekent, is al duizenden jaren oud.

Nu blijkt er iets merkwaardigs. We hebben goede redenen om aan te nemen dat mensen die woorden op face-value nemen, hoog scoren op bevooroordeeldheid en mensen die dat niet doen, laag. De neiging om woorden precies operationeel te willen definiëren, is dus een eigenschap van bèta's. De neiging om woorden als kanonskogels de ruimte in te slingeren en met die woorden de tegenstander te bestoken, is een eigenschap van alfa's.

Mensen die dus 'nepnieuws' hanteren, zonder dat eerst deugdelijk te omschrijven, laden de verdenking op zich hoog op bevooroordeeldheid te scoren. Men babbelt gezellig en sociaal handig, maar wat men zegt, koppelt niet aan de waarneembare realiteit.

We moeten dus eerst het begrip 'nepnieuws' duidelijk definiëren. Op zo'n manier dat verschillende beoordelaars bij dezelfde tekst tot hetzelfde oordeel komen: wel/niet nepnieuws. We moeten dus in feite een handleiding schrijven voor beoordelaars om een tekst te beoordelen als wel of niet nepnieuws. Simpel toch?

Dat zou wel eens wat tegen kunnen vallen. Je hebt een collectie teksten en je vraagt beoordelaars hun oordeel over die teksten. Daar komt de procedure in het kort op neer. Natuurlijk probeer je de beoordelaars wat te sturen met je instructie, maar in de praktijk blijkt dat niet zo geweldig te lukken. Veel beoordelaars lezen niet of slecht. Als ze wel lezen, vinden ze een instructie al snel te ingewikkeld en doen ze de klus op de manier zoals ze die gewend zijn te doen. Wanneer je dat probleem probeert op te vangen met een uitgebreidere instructie, wordt het probleem nog groter. De ene beoordelaar selecteert uit die uitgebreide instructie andere informatie dan de andere. Het gevolg is dat de beoordelaars niet meer gelijk gaan beoordelen, maar juist minder gelijk. De enige oplossing is dus een korte instructie.

Een volgend probleem is dat een beoordelaar die bijvoorbeeld dertig teksten moet beoordelen, maar weinig tijd per tekst kan uittrekken, als hij die klus ten minste in een redelijke tijd achter de rug wil hebben. Een normale beoordelaar kan dus aan één tekst normaal niet enkele dagen besteden. Als hij 10 minuten per tekst uittrekt, is hij al 300 minuten of vijf uur continu bezig. Na vijf uur teksten beoordelen zie je door de bomen het bos niet meer en heb je hoofdpijn.

Beoordelaars trekken zich dus weinig aan van instructies en zijn niet in staat lang achter elkaar te beoordelen. Ze hebben daardoor dus de neiging nogal snel te beoordelen. Waarop beoordelen die beoordelaars de teksten precies als ze zich niet of amper laten sturen door instructies? Op dit punt hebben mijn vrouw en ik het een en ander onderzocht (hier).

Een eerste punt dat opvalt, wanneer men beoordelaars een aantal teksten laat beoordelen, is dat ze het onderling vooral oneens zijn. Wie echter met behulp van statistiek en correlaties gaat kijken, ziet dat ze het onderling een heel klein beetje eens zijn. De gemiddelde onderlinge correlatie is bijvoorbeeld 0,20. Op het blote oog valt er in het scatterdiagram dan amper verband te ontdekken, maar statistisch kan aangetoond worden dat het verband er wel is.

Dankzij die onderlinge positieve correlatie is het echter toch mogelijk teksten betrouwbaar te beoordelen. Wanneer we namelijk maar voldoende beoordelaars inzetten, wordt het gemiddelde oordeel uiteindelijk betrouwbaar. Dat klinkt als goed nieuws: we zijn in staat teksten te beoordelen.

Wie echter verder kijkt, ziet dat die oordelen vooral de FOC-factor meten. FOC staat voor 'Fouten Opsporen en Corrigeren'. Het oordeel over de tekst komt tot stand op basis van het aantal fouten in de tekst. Teksten die per honderd woorden veel fouten bevatten, worden negatiever beoordeeld dan teksten die vrijwel foutloos zijn. Het oordeel zegt dus niets of vrijwel niets over de inhoud van het stuk.

Tot nu toe is het -- bij mijn weten -- nog nooit gelukt teksten inhoudelijk betrouwbaar te beoordelen.  Hoe kan dat? Het eerste probleem is dat de FOC-factor roet in het eten gooit. Fouten in een tekst hebben zo'n groot effect, dat ze kennelijk het effect van de inhoud vrijwel volledig teniet doen. Dat betekent dus ook dat menselijke lezers zich normaal sterk laten leiden door oppervlakkigheden. Ze kijken niet door de fouten heen, maar laten zich er diepgaand door beïnvloeden. Normale lezers zijn dus kennelijk vooral oppervlakkige lezers.

Maar ons nepnieuws-oordeel willen we natuurlijk vooral baseren op de inhoud. Kennelijk kunnen we dan dus geen 'normale' lezers gebruiken. Maar als we alleen 'abnormale' lezers mogen gebruiken als beoordelaars, wordt het wel lastig. Allereerst zitten we met het probleem: hoe vinden we die 'abnormale' lezers? Maar stel dat we op een of andere manier een aantal 'abnormale' lezers gevonden hebben om onze teksten te beoordelen. Wat hebben we aan die oordelen als de bulk van de lezers, gewone lezers zijn, die die hele inhoud kennelijk niet of amper lezen?

Het vaststellen van wat precies wel en niet nepnieuws vormt, is dus een netelig probleem, waar we misschien beter ver vandaan kunnen blijven. Toch ligt er wel een echt probleem. Wat is dat probleem precies?


---------------------------------------------------------

Het probleem is niet dat er nepnieuws bestaat, het probleem is dat veel mensen bij voorbaat alles geloven dat hun op de juiste manier wordt verteld.

---------------------------------------------------------


In de Bijbel heet dat het probleem van de 'valse profeet'. Een valse profeet heeft een mooie babbel, maar het verhaal dat hij vertelt, klopt niet en is uiteindelijk alleen bedoeld de toehoorder te misleiden en voor zijn karretje te spannen. Goedgelovige mensen worden daardoor op sleeptouw genomen en worden op die manier een willoos werktuig van de valse profeet of strongman. De minder goedgelovige mensen realiseren zich meestal dat er iets niet klopt, maar zitten dan met het probleem dat de bulk van de bevolking achter de valse profeet aanloopt.

Nepnieuws is dus niet het probleem, maar het probleem is dat meer dan de helft van de bevolking oppervlakkig leest en luistert en zich gemakkelijk door valse profeten laat misleiden en laat verleiden tot acties waar veel mensen het slachtoffer van worden.

Hoe valt daar iets tegen te doen? Niet door nepnieuws te verbieden, maar door nepnieuws te omarmen en ermee te laten oefenen. Het probleem is niet dat er nepnieuws bestaat, het probleem is dat veel mensen bij voorbaat alles geloven dat hun op de juiste manier wordt verteld.



























Geen opmerkingen:

Een reactie posten