Via Google News kom ik uit bij een artikel in Scientific American (https://www.scientificamerican.com/article/i-gave-chatgpt-an-iq-test-heres-what-i-discovered/). Een klinisch psycholoog in Finland komt op het idee om CHAT-GPT te testen met een intelligentietest. Het programma zou erg intelligent zijn, dus dan mag een intelligentietest geen echte problemen opleveren.
Ze legt het programma de vijf verbale subtests van de WAIS (derde versie) voor. De zesde verbale subtest is bedoeld het korte termijn geheugen te testen, dit leek bij CHAT-GPT niet goed mogelijk of niet zinvol. De vijf non-verbale tests afnemen was niet mogelijk.
Op basis van de vijf verbale subtests komt ze voor CHAT-GPT op een verbaal IQ uit van 155. Het gemiddelde IQ is gesteld op 100 en de standaarddeviatie op 15. Dit betekent dat CHAT-GPT verbaal intelligenter is dan 99,9 procent van de populatie waarop de WAIS is genormeerd. CHAT-GPT is dus uiterst verbaal begaafd.
Tegelijkertijd zijn er heel veel aanwijzingen dat CHAT-GPT niet echt begrijpt, wat het programma beweert. Kennelijk is er dus nog een totaal andere factor voor intelligentie dan alleen de verbale component.
Wel is het zo dat de verbale component en de niet-verbale component bij mensen normaal zwaar gecorreleerd is. Maar bij CHAT-GPT gaat dat dus vrijwel zeker niet op.
Dit resultaat bevestigt dus wat in deze blog al eerder werd verondersteld en gevonden. Intelligentie bestaat uit twee verschillende componenten die normaal sterk gecorreleerd zijn. Alfa's scoren hoog op verbale intelligentie maar hebben problemen met non-verbale intelligentie (wiskundige taken). Bèta's zijn goed in wiskunde, rekenen en dergelijke, maar zijn vaak in verhouding iets minder in taal.
Wat in dit geval ook nog mooi is, is dat de werking van CHAT-GPT in beginsel bekend is. Het programma zoekt in een gegeven context naar het meest waarschijnlijke volgende woord. Het programma is eigenlijk de perfecte leutermachine.
Dit laat dus zien, hoe zeer normale mensen opkijken tegen geleuter. Ze zien het als uiterst intelligent. Terwijl het in werkelijkheid een activiteit is, die geen enkel begrip vereist.
Geen opmerkingen:
Een reactie posten