AI-tekstgeneratoren produceren nog steeds fictieve antwoorden. Kunnen hulpmiddelen ter voorkoming van hallucinaties helpen om de onzin van LLM’s te doorbreken? Waarschijnlijk niet, want het zijn niet de machines die ‘hallucineren’, maar wij.
AI Kunnen machines denken? De beroemde wiskundige en grondlegger van kunstmatige intelligentie, Alan Turing, raakte alleen al door deze vraag enthousiast. Het is zinloos. De echte vraag is of we in staat zijn om machinaal bedrog als zodanig te ontmaskeren.
Turing kwam tot dit inzicht meer dan zeventig jaar geleden, lang voordat ‘denkende’ machines of zelfs functionerende computers waren uitgevonden. Maar de vraag hoe machinaal bedrog aan het licht kan worden gebracht, is actueler dan ooit. Of kunt u nog steeds met zekerheid uitsluiten dat u deze week een gegenereerde tekst al hebt gelezen?
Turing illustreerde het probleem in een essay uit 1950 met een speelse test: in de bekende versie van het imitatiespel dat hij beschreef, zitten een mens en een machine achter een scherm en worden ze via een chatgesprek door een persoon ondervraagd. De antwoorden worden op een scherm weergegeven. Kunnen mensen door het stellen van slimme vragen en het bekijken van de antwoorden op het computerscherm bepalen of de afzender een mens of een machine is?
Tegenwoordig noemen we dit imitatiespel in aangepaste vorm de Turing-test, naar zijn maker . En natuurlijk slagen sommige machines er tegenwoordig in om mensen die hen ondervragen over hun machine-achtige aard, te misleiden. Ze waren gewoon zo geprogrammeerd. Maar gewone software die niet specifiek voor deze test is ontworpen, faalt vaak snel.
Simuleer ernst
De Brit Turing was niet de enige die geïnteresseerd was in ‘denkende’ machines. Ongeveer tegelijkertijd, maar dan aan de andere kant van de Atlantische Oceaan, stelden John McCarthy, Marvin Minsky en enkele collega’s een verwante vraag : hoe kunnen we denken simuleren door machinewoorden zo om te zetten dat ze wiskundig kunnen worden uitgedrukt?
De Large Language Models (LLM’s) van vandaag de dag simuleren op indrukwekkende wijze, zij het niet het denken, maar wel geformaliseerd schrijven en technisch spreken. Ze kunnen ons misleiden via door AI gegenereerde stemmen . Maar bovenal overtreffen ze met gemak de inspanningen van McCarthy en Minsky op de zeer alledaagse kwesties rond de financiering van hun onderzoek. Als gevolg van hun wetenschappelijke denkwijze is de belangrijkste drijvende kracht achter de huidige ontwikkeling van AI weggevallen: alleen al het gebruik van het modewoord dat ze zelf hebben bedacht, kunstmatige intelligentie, levert al zeventig jaar lang financiering op.
De bedragen zijn gigantisch. Het is dan ook niet meer dan logisch dat AI-aanbieders nu de laatste stap van Turing’s Imitation Game hebben afgerond: hoe kunnen we ernst simuleren op zo’n manier dat we miljarden aan durfkapitaal binnenkrijgen?
Het wetenschappelijke antwoord
Als u zich afvraagt of de nieuwe LLM-tools waar u zo enthousiast over bent, serieus en betrouwbaar genoeg zijn voor productief gebruik, moet u dat niet aan de aanbieders of hun PR-bondgenoten vragen, maar aan onafhankelijke onderzoekers. Het wetenschappelijke antwoord op deze vraag is duidelijk: nee. Een onderzoek van Stanford University evalueerde bijvoorbeeld 200.000 vragen over juridische kwesties met behulp van gangbare LLM’s, wat ronduit gênante resultaten opleverde.
Hoe complexer de vragen werden, hoe slechter de LLM’s presteerden. Soms was hun reactiegedrag niet beter dan ‘willekeurig gokken’, zoals de onderzoekers opmerkten, niet zonder zelfgenoegzaamheid. Globaal genomen varieerden de antwoorden op GPT 3.5, Llama 2 en PaLM 2 tussen de 58 en 82 procent onjuiste antwoorden op de gestelde juridische vragen.
Zelfs de aanbieders van generatieve AI-systemen geven aan dat de systemen, zelfs in nieuwere versies, geen waarheidsgetrouwe antwoorden genereren, maar alleen plausibele teksten. In een recent interview kwam Microsoft CEO Satya Nadella ook terug op zijn zelfopgelegde doel om een denkende AI te creëren. De huidige referentiepunten rondom Artificial General Intelligence (AGI) zijn ‘onzin’ en lege ‘benchmark-hacking’.
Het punt is dat met behulp van deze AI economische groei zoals aan het begin van de Industriële Revolutie mogelijk is, zegt Nadella. Een veel geschiktere maatstaf zou daarom kunnen zijn of een AGI in staat is om honderd miljard Amerikaanse dollars winst te genereren. Dan is het doel van Artificial General Intelligence bereikt, zoals vastgelegd in een interne overeenkomst tussen OpenAI en Microsoft. Eigenlijk zijn loterijen en beursspeculatie veel geschikter voor de werking van deze stochastisch werkende systemen .
Ook wij hebben jou steun nodig in 2025, gun ons een extra bakkie koffie groot of klein.
Dank je en proost?
Wij van Indignatie AI zijn je eeuwig dankbaar
In werkelijkheid is winst echter nog ver weg. Tot nu toe is de winstgevendheid nog niet eens te voorspellen. Sam Altman, CEO van OpenAI, gaf onlangs toe dat zijn bedrijf nog steeds verlies lijdt, zelfs met het duurste abonnement, dat momenteel $ 200 per maand kost.
Lage kwaliteit, hoge populariteit
Wat doe je als je een onrendabel, slecht, maar zeer populair softwareproduct hebt dat om technische redenen voortdurend onjuiste en zelfs onzinnige antwoorden geeft? Omdat een LLM de semantiek niet kan en zal beheersen.
Natuurlijk is hier al een antwoord op: de LLM biedt ook een geschikte “Hallucinatiepreventie-toolkit”. Vertaald is dit een gereedschapskist ter voorkoming van hallucinaties, die de humor van het idee veel beter benadrukt dan de Engelse versie.
Deze toolbox voor het voorkomen van hallucinaties is niet zomaar een idee, maar wordt bijvoorbeeld ook gebruikt in de chatbot voor sociaal advies in Opper-Oostenrijk, een LLM genaamd KARLI. De chatbot wordt op de markt gebracht als een ‘AI-assistent’ ‘met taalkundige mogelijkheden die vergelijkbaar zijn met die van ‘ChatGPT’.’ Dit omvat “strikte hallucinatiepreventie”, zegt de aanbieder van “hallucinatievrije, veilige en betrouwbare LLM-antwoorden.”
Het is een beetje alsof je een geweldige nieuwe softwareoplossing aanbiedt en er dan nog een paar noodzakelijke uitbreidingen aan toevoegt om te voorkomen dat de software onzin gaat verspreiden. Vertaald naar de brugconstructie zouden dit waarschijnlijk extra steunpunten naast de brugpijlers zijn.
Blijkbaar is het idee dat een mens met hersenen en contextuele kennis daadwerkelijk zou kunnen (willen) lezen wat er is gegenereerd, achterhaald. Met behulp van een toolkit ter voorkoming van hallucinaties zou het risico zeker nog verder verlaagd kunnen worden.
Het filteren van de onzin van LLM’s
Sterker nog, de grote AI-leveranciers beloofden al ruim een jaar geleden dat grove onzin, verzonnen wetenschappelijke bronnen en valse referenties tot het verleden zouden behoren. Dit komt alleen doordat de technologie zo nieuw is, dat deze nu wordt afgeschaft. Natuurlijk worden er nog steeds gênante gevallen ontdekt waarvoor geen enkel bewijs is.
Daarom is er een andere oplossing nodig: Microsoft heeft al een manier gevonden om de ‘hallucinaties’ om te zetten in een bedrijfsmodel. Het bedrijf biedt “Microsoft Correction” aan. Dit is ook een soort hulpmiddel om hallucinaties te voorkomen, maar wordt op de markt gebracht als middel om hallucinaties te corrigeren.
Overigens is het gebruik ervan voorlopig gratis, maar helaas is het alleen beschikbaar in combinatie met de “groundedness detection” om de onzin van de LLM’s eruit te filteren. Per maand kunnen maximaal 5.000 tekstblokken gratis worden gecontroleerd. Daarna moet er een bedrag van 38 Amerikaanse cent per 1.000 blokken worden betaald om LLM-onzin te verwijderen. Als u MS Correction in uw bedrijf wilt gebruiken, moet u rekening houden met extra kosten. Let wel, voor de nodige correcties aan een service die alleen maar fouten genereert.
Je moet Microsoft daarvoor krediet geven, het is een briljant bedrijfsidee. Dit garandeert natuurlijk niet dat alles foutloos zal verlopen. Wat zou dat opleveren? Maar de prikkel voor aanbieders om de verzonnen onzin in de LLM-antwoorden te minimaliseren, zal waarschijnlijk afnemen.
entertainment en gemoedsrust
We moeten het dringend kort over deze ‘hallucinaties’ hebben. Ten onrechte wordt aangenomen dat de machine hallucineert. Maar het zijn juist de mensen die het slachtoffer worden van misleiding en de LLM-resultaten overinterpreteren. Het is een beetje zoals wij denken dat we figuren in de wolken kunnen zien.
Wanneer we een boek lezen of een film kijken, negeren we opzettelijk alle inconsistenties in de inhoud, zelfs de kommafouten en inconsistente dialogen, zodat we kunnen genieten van het verhaal en de illusie. Dit is voor entertainment en gemoedsrust.
We zien hetzelfde fenomeen bij AI en met name LLM’s, alleen stromen er dit keer enorme hoeveelheden durfkapitaal binnen, als we de sprookjes maar serieus nemen. En deze onzin over een Algemene Kunstmatige Intelligentie die de mensheid aan zich onderwerpt, is misschien best vermakelijk in een boek of film, maar het mag er niet toe leiden dat we een spektakel met de werkelijkheid verwarren.
Stefan Ullrich is gepromoveerd in computerwetenschappen en filosofie en doet kritisch onderzoek naar de effecten van alomtegenwoordige informatietechnologiesystemen op de samenleving. Hij is spreker voor digitaal onderwijs in de AI-denktank voor milieubescherming.
