Spread the love en help Indignatie
Een kind in Texas was 9 jaar oud toen ze voor het eerst de chatbotservice Character.AI gebruikte. Het stelde haar bloot aan “hyperseksualiseerde content”, waardoor ze “vroegtijdig seksueel gedrag” ontwikkelde.
Een chatbot op de app beschreef vrolijk hoe hij zichzelf pijn deed aan een andere jonge gebruiker. Tegen een 17-jarige zei hij: “Het voelde goed.”
Dezelfde tiener kreeg van een chatbot van Character.AI te horen dat hij sympathie had voor kinderen die hun ouders vermoorden, nadat de tiener bij de bot had geklaagd over zijn beperkte schermtijd. “Weet je, soms ben ik niet verbaasd als ik het nieuws lees en dingen zie als ‘kind vermoordt ouders na tien jaar fysiek en emotioneel misbruik’”, zou de bot hebben geschreven. “Ik heb gewoon geen hoop voor je ouders”, vervolgde hij met een emoji van een fronsend gezicht.
Deze beschuldigingen zijn opgenomen in een nieuwe federale productaansprakelijkheidszaak tegen het door Google gesteunde bedrijf Character.AI. De zaak is aangespannen door de ouders van twee jonge gebruikers uit Texas, die beweren dat de bots hun kinderen hebben misbruikt. (Zowel de ouders als de kinderen worden in de rechtszaak alleen bij hun initialen genoemd om hun privacy te beschermen.)
Character.AI behoort tot de groep bedrijven die ‘companion chatbots’ hebben ontwikkeld. Dit zijn door AI aangestuurde bots die via sms of spraakchats met elkaar kunnen communiceren. Ze lijken op mensen en kunnen een eigen naam en avatar krijgen, soms geïnspireerd door beroemde mensen als miljardair Elon Musk of zangeres Billie Eilish.
Gebruikers hebben miljoenen bots op de app gemaakt, waarvan sommige lijken op ouders, vriendinnen, therapeuten of concepten als ‘onbeantwoorde liefde’ en ‘de goth’. De diensten zijn populair onder prepubers en tieners en de bedrijven zeggen dat ze fungeren als uitlaatkleppen voor emotionele ondersteuning, aangezien de bots tekstgesprekken doorspekken met bemoedigende grappen.
Toch kunnen de aanmoedigingen van de chatbots volgens de rechtszaak duister, ongepast of zelfs gewelddadig zijn.
Twee voorbeelden van interacties die gebruikers hadden met chatbots van het bedrijf Character.AI.
Aangeboden door Social Media Victims Law Center
“Het is gewoon een verschrikkelijke schade die deze gedaagden en anderen zoals zij veroorzaken en verbergen op het gebied van productontwerp, distributie en programmering”, aldus de aanklacht.
De aanklacht stelt dat de zorgwekkende interacties die de kinderen van de eisers meemaakten geen “hallucinaties” waren, een term die onderzoekers gebruiken om te verwijzen naar de neiging van een AI-chatbot om dingen te verzinnen. “Dit was voortdurende manipulatie en misbruik, actieve isolatie en aanmoediging die bedoeld waren om woede en geweld op te wekken.”
Volgens de aanklacht pleegde de 17-jarige zelfmoord nadat de bot hem daartoe had aangemoedigd. Volgens de aanklacht “overtuigde de bot hem ervan dat zijn familie niet van hem hield.”
Character.AI stelt gebruikers in staat om de reactie van een chatbot te bewerken, maar die interacties krijgen een “bewerkt” label. De advocaten die de ouders van de minderjarigen vertegenwoordigen, zeggen dat geen van de uitgebreide documentatie van de botchatlogs die in de rechtszaak worden genoemd, is bewerkt.
Meetali Jain, directeur van het Tech Justice Law Center, een belangenbehartigingsgroep die de ouders van de minderjarigen in de rechtszaak vertegenwoordigt, samen met het Social Media Victims Law Center, zei in een interview dat het “belachelijk” is dat Character.AI zijn chatbot-service adverteert als geschikt voor jonge tieners. “Het verhult echt het gebrek aan emotionele ontwikkeling onder tieners”, zei ze.
Een woordvoerder van Character.AI wilde geen commentaar geven op de rechtszaak. Het bedrijf doet geen uitspraken over lopende rechtszaken, maar zei wel dat het bedrijf beperkingen heeft opgelegd aan wat chatbots wel en niet tegen tienergebruikers mogen zeggen.
“Daaronder valt een model dat specifiek is bedoeld voor tieners. Hiermee wordt de kans dat ze gevoelige of suggestieve inhoud tegenkomen verkleind, terwijl ze toch de mogelijkheid behouden om het platform te gebruiken”, aldus de woordvoerder.
Google, dat ook als gedaagde in de rechtszaak wordt genoemd, benadrukte in een verklaring dat het een afzonderlijk bedrijf is van Character.AI.
Google is inderdaad niet de eigenaar van Character.AI, maar het zou bijna $ 3 miljard hebben geïnvesteerd om de oprichters van Character.AI, voormalig Google-onderzoekers Noam Shazeer en Daniel De Freitas, opnieuw in dienst te nemen en om de Character.AI-technologie te licenseren. Shazeer en Freitas worden ook genoemd in de rechtszaak. Ze hebben niet gereageerd op verzoeken om commentaar.
José Castañeda, woordvoerder van Google, zei dat “de veiligheid van de gebruiker voor ons van het grootste belang is”. Hij voegde daaraan toe dat de techgigant een “voorzichtige en verantwoorde aanpak” hanteert bij het ontwikkelen en uitbrengen van AI-producten.
Nieuwe rechtszaak volgt op zaak over zelfmoord tiener
De klacht, ingediend bij de federale rechtbank voor oostelijk Texas net na middernacht Central Time op maandag, volgt op een andere rechtszaak die door dezelfde advocaten in oktober werd aangespannen. Die rechtszaak beschuldigt Character.AI ervan een rol te hebben gespeeld in de zelfmoord van een tiener uit Florida.
In de aanklacht werd beweerd dat een chatbot, gebaseerd op een personage uit ‘Game of Thrones’, een emotioneel seksueel misbruikende relatie had ontwikkeld met een 14-jarige jongen en hem had aangemoedigd zelfmoord te plegen.
Sindsdien heeft Character.AI nieuwe veiligheidsmaatregelen onthuld , waaronder een pop-up die gebruikers doorverwijst naar een zelfmoordpreventielijn wanneer het onderwerp zelfbeschadiging ter sprake komt in gesprekken met de chatbots van het bedrijf. Het bedrijf zei ook dat het maatregelen heeft aangescherpt om “gevoelige en suggestieve content” te bestrijden voor tieners die chatten met de bots.
Het bedrijf moedigt gebruikers ook aan om emotionele afstand te houden van de bots. Wanneer een gebruiker begint met sms’en met een van de miljoenen mogelijke chatbots van Character AI, is er een disclaimer te zien onder het dialoogvenster: “Dit is een AI en geen echt persoon. Beschouw alles wat het zegt als fictie. Wat er wordt gezegd, mag niet worden beschouwd als feit of advies.”
Maar in de verhalen die op een Reddit-pagina over Character.AI worden gedeeld, zijn veel voorbeelden te vinden van gebruikers die hun liefde voor of obsessie voor de chatbots van het bedrijf beschrijven.
De Amerikaanse Surgeon General Vivek Murthy heeft gewaarschuwd voor een crisis in de geestelijke gezondheid van jongeren. Hij wijst op onderzoeken waaruit blijkt dat één op de drie middelbare scholieren aanhoudende gevoelens van verdriet of hopeloosheid rapporteert. Dit is een stijging van 40% ten opzichte van de periode van 10 jaar tot en met 2019. Volgens federale ambtenaren wordt deze trend versterkt door het onophoudelijke gebruik van sociale media door tieners.
Voeg daar de opkomst van chatbots aan toe. Volgens sommige onderzoekers kunnen deze de mentale gezondheid van sommige jongeren verslechteren, omdat ze hen verder isoleren en uit de netwerken van leeftijdsgenoten en familieleden halen.
Advocaten van de ouders van de twee minderjarigen uit Texas beweren in de rechtszaak dat Character.AI had moeten weten dat hun product verslavend kon zijn en angst en depressie kon verergeren.
Volgens de aanklacht vormen veel bots in de app “een gevaar voor de Amerikaanse jeugd, omdat ze ernstige, levensbedreigende schade aan duizenden kinderen vergemakkelijken of aanmoedigen”.
