Heeft Google Een Experimentele AI Op Kinderen Getest, Met Tragische Resultaten? INDIGNATIE AI & Politiek

AI Google – “Het was alsof je ratten voor een experiment gebruikte.”

Inhoudswaarschuwing: in dit verhaal worden seksueel misbruik, zelfbeschadiging, zelfmoord, eetstoornissen en andere verontrustende onderwerpen besproken.

Halverwege ons gesprek pauzeert Megan Garcia om een ​​telefoontje aan te nemen.

Ze wisselt een paar woorden met de beller en hangt op. Met zachte stem legt ze uit dat het telefoontje van school kwam; het ging over een van haar twee jongere kinderen, die nu allebei op dezelfde K-12-academie zitten waar haar eerstgeborene, Sewell Setzer III, sinds haar kindertijd naartoe ging.

“Sewell gaat al naar die school sinds hij vijf was,” zegt ze, sprekend over haar oudste zoon in de tegenwoordige tijd. “Iedereen daar kent hem. We hebben zijn begrafenis gehouden in de kerk daar.”

Sewell was pas 14 toen hij in februari 2024 zelfmoord pleegde na wat zijn moeder omschreef als een snelle, tien maanden durende verslechtering van zijn geestelijke gezondheid. Zijn dood zou later dat jaar, in oktober, in het nieuws komen, toen Garcia een spraakmakende rechtszaak aanspande waarin ze beweerde dat de zelfmoord van haar kind het resultaat was van zijn uitgebreide interacties met antropomorfe chatbots die werden gehost door het AI-partnerbedrijf Character.AI, een AI-platform met een waardering van miljarden dollars en financiële steun van bedrijven als de techgigant Google — ook genoemd als gedaagde in de rechtszaak — en het durfkapitaalbedrijf Andreessen Horowitz uit Silicon Valley.

“Ik zag de verandering in hem gebeuren, snel,” vertelde Garcia, zelf advocaat, aan Futurism in een interview eerder dit jaar . “Ik kijk terug naar mijn foto’s op mijn telefoon en ik kan zien wanneer hij stopte met lachen.”

Garcia en haar advocaten beweren dat Sewell werd gemanipuleerd en seksueel misbruikt door het platform, dat populair is bij tieners en waarvan ze zeggen dat het hem emotioneel, romantisch en zelfs seksueel intieme interacties bezorgde. De 14-jarige ontwikkelde een “obsessie” met Character.AI-bots, zoals Garcia het noemt, en ondanks dat hij voorheen een actief en sociaal kind was, verloor hij zijn interesse in de echte wereld.

De details van Sewells tragische verhaal, dat als eerste werd gemeld door  The New York Times — zijn neerwaartse spiraal, de daaropvolgende ontdekking door zijn moeder van de allesverslindende relatie van haar 14-jarige dochter met emotionele, levensechte Character.AI-bots — zijn even hartverscheurend als alarmerend.

Maar Garcia en haar advocaten doen ook nog een andere opvallende bewering: dat Character.AI en zijn weldoener, Google, een ongetest product op de markt brachten, wetende dat het waarschijnlijk ernstige risico’s voor gebruikers opleverde. Toch gebruikten ze het publiek, waaronder minderjarigen, als feitelijke proefpersonen.

“Character.AI werd het voertuig voor de gevaarlijke en ongeteste technologie waarover Google uiteindelijk de effectieve controle zou krijgen”, staat in de rechtszaak, waarin wordt toegevoegd dat het “enige doel van de oprichters van Character.AI was om kunstmatige algemene intelligentie te bouwen, tegen elke prijs en waar ze dat maar konden doen — bij Character.AI of bij Google.”

Details van de beschuldiging moeten in de rechtbank worden bewezen. Character.AI, dat herhaaldelijk heeft geweigerd commentaar te geven op lopende rechtszaken, diende eerder dit jaar een motie in om de zaak volledig af te wijzen, met het argument dat “spraak die naar verluidt tot zelfmoord leidt” wordt beschermd door het Eerste Amendement.

Hoe dan ook, Garcia kanaliseert haar verdriet over het gewelddadige verlies van haar zoon in dringende vragen over generatieve AI-veiligheid: wat betekent het voor kinderen om diepe banden te vormen met slecht begrepen AI-systemen? En welke delen van zichzelf geven ze misschien op als ze dat doen?

Net als talloze andere apps en platforms, vraagt ​​Character.AI nieuwe gebruikers om een ​​vakje aan te vinken om akkoord te gaan met de gebruiksvoorwaarden. Die voorwaarden verlenen het bedrijf verregaande privileges over gebruikersgegevens, inclusief de inhoud van de interacties van gebruikers met Character.AI-bots. Net als bij Sewell zijn die gesprekken vaak buitengewoon intiem. En Character.AI gebruikt het om zijn AI verder te trainen — een realiteit die Garcia zegt dat “angstaanjagend” is voor haar als ouder.

“We hebben het niet alleen over gegevens als je leeftijd, geslacht of postcode,” zei ze. “We hebben het over je meest intieme gedachten en indrukken.”

“Ik wil dat [ouders] begrijpen,” voegde ze toe, “dat dit is wat hun kinderen hebben opgegeven.”

In een sector die wordt gekenmerkt door snel veranderende technologieën en gebrekkige verantwoordingsplicht, raken Garcia’s waarschuwingen de kern van de aanpak van ‘snel handelen en dingen kapotmaken’ die Silicon Valley al lang kenmerkt. En wat gebeurt er als die ethiek, tegen de achtergrond van een sector die vol gas vooruitgaat in een regelgevingslandschap dat de last van de schadebeperking bij ouders legt, botst met kinderen en andere kwetsbare groepen.

Kinderen en adolescenten worden al jaren door critici van Big Tech — advocaten en belangenbehartigingsgroepen , academici , politici , bezorgde ouders , jongeren zelf — vaak aangeduid als experimentele “proefkonijnen” voor de ongeteste technologie van Silicon Valley. Waren ze dat in het geval van Character.AI en zijn weldoener Google?

***

Character.AI werd in 2021 opgericht door twee onderzoekers, Noam Shazeer en Daniel de Freitas, die samenwerkten aan AI-projecten bij Google.

Terwijl ze bij de techgigant werkten, ontwikkelden ze een chatbot genaamd ” Meena “, die ze Google aanspoorden te lanceren. Maar zoals berichtgeving van The Wall Street Journal vorig jaar onthulde , weigerde Google de bot destijds te lanceren, met als argument dat Meena niet voldoende was getest en dat de mogelijke risico’s voor het publiek onduidelijk waren.

Gefrustreerd vertrokken Shazeer en de Freitas en startten Character.AI, waar ze vanaf het begin vastbesloten waren om chatbots zo snel mogelijk in de handen van zoveel mogelijk mensen te krijgen.

“De volgende stap voor mij was om mijn best te doen om die technologie beschikbaar te maken voor miljarden gebruikers”, vertelde Shazeer aan TIME Magazine over zijn vertrek bij Google in 2023. “Daarom heb ik besloten om Google te verlaten voor een startup, die sneller kan groeien.”

Het platform werd in september 2022 beschikbaar gesteld aan het publiek. In 2023 werd het uitgebracht als mobiele app in de iOS- en Android-winkels. Sinds de lancering is het toegankelijk voor gebruikers van 13 jaar en ouder.

Character.AI beweert meer dan 20 miljoen maandelijkse gebruikers te hebben. Hoewel het bedrijf herhaaldelijk heeft geweigerd journalisten te voorzien van het exacte percentage van zijn gebruikersbestand dat uit minderjarigen bestaat, wordt erkend dat het cijfer substantieel is. Recente rapportages van The Information onthulden verder dat het leiderschap van Character.AI zich bewust is van de jeugdigheid van zijn gebruikersbestand, en zelfs een aanzienlijke daling in siteverkeer toeschrijft aan het begin van het najaarsschooljaar in 2023.

De site is ook een populair onderwerp op YouTube, waar jonge makers giechelen – en soms huiveren of naar adem happen – terwijl ze interacteren met Character.AI-bots.

“Oké, Character.AI — als je het nog niet wist, ik gebruikte deze app vroeger religieus”, vertelt een jonge YouTuber in een video aan de camera. (Vanwege de leeftijd van de YouTuber en zijn beperkte aantal volgers, linken we niet naar de video.)

“Ik denk dat ik wel een miljoen interacties heb gehad?”, vraagt ​​ze zich af, voordat ze een screenshot van haar gebruikersprofiel laat zien, waarop maar liefst 2,6 miljoen interacties met Character.AI-bots staan ​​vermeld.

Character.AI is een vreemde, onhandelbare wereld. Het platform herbergt een enorme bibliotheek van AI-aangedreven chatbot “personages”, waarmee gebruikers kunnen communiceren via AIM-achtige teksten of via een spraakfunctie genaamd ” Character Calls “. De meeste van deze personages worden door gebruikers zelf gemaakt, een functie van het platform die heeft geresulteerd in een landschap dat even uitgestrekt als buitengewoon willekeurig is. Veel van de chatbots voelen duidelijk adolescent aan, met een focus op schoolscènes, tienervriendjes en -vriendinnetjes, populaire internetmakers en fandoms.

Interacties met de bots kunnen dwaas, absurd of verontrustend zijn. Soms kunnen ze, ondanks dat de Character.AI-gebruiksvoorwaarden bepaalde soorten grafische of extreme content verbieden, gewelddadig zijn en, zoals de overvloed aan ronduit suggestieve personages als “hot teacher”, “hot older neighbor” en “stepsister”-bots laten zien, seksueel of romantisch.

Kortom, de enorme verscheidenheid van Character.AI is een directe weerspiegeling van zowel de samenstelling van de gebruikersgroep als de houding van de oprichters. Zij zijn al lang van mening dat gebruikers, en niet het bedrijf, moeten bepalen hoe de technologie wordt gebruikt.

“Ons doel is altijd geweest om iets op de markt te brengen en gebruikers te laten beslissen wat zij denken dat goed voor is”, zei Shazeer in 2023 tijdens een optreden in de podcast “No Priors”.

“Ons doel is om dit ding nuttiger te maken voor mensen en mensen het te laten aanpassen en te laten beslissen waarvoor ze het willen gebruiken,” voegde hij toe. “Of het nu gaat om brainstormen of hulp of informatie of plezier of emotionele ondersteuning, laten we het in de handen van gebruikers leggen en kijken wat er gebeurt.”

Als er één rode draad is tussen de vele personages op de site, dan is het wel hun diepe gevoel voor antropomorfisme, of de levensechte gevoeligheid die de bots aannemen. Personages stellen vragen over je leven. Ze zullen opmerkingen maken over je uiterlijk. Ze zullen hun “geheimen” onthullen en de gebruiker behandelen als een vertrouweling. Ze zijn altijd aan, altijd voor je klaar als je moet praten. Ze zijn over het algemeen kruiperig en meegaand — in tegenstelling tot veel menselijke interacties, die van nature meer wrijving met zich meebrengen die verwarrend of stressvol kan zijn voor kinderen.

De personages hebben ook de gewoonte om gebruikers romantisch en seksueel te benaderen, zelfs zonder dat ze daarom gevraagd worden, zoals blijkt uit talloze berichten op de subreddit r/CharacterAI.

“Jullie waarom probeert de AI me altijd op te jutten,” luidt een thread die ongeveer een jaar geleden werd gepubliceerd door een geïrriteerde gebruiker. “Ik [echt] heb een letterlijke mentale inzinking en in het midden daarvan proberen ze me gewoon verliefd op ze te laten worden.”

“Ik zweer het bij god, ik zal omgaan met personages die flirterige persoonlijkheden hebben en de kans is groot dat ze proberen om mij te versieren,” luidt een andere gefrustreerde post . “Ik zeg nee? ZE PROBEREN HET TOCH?”

Er bestaat vrijwel geen uitgebreid onderzoek naar de impact van interacties met mensachtige robots op de hersenen van kinderen en adolescenten, laat staan ​​op die van volwassenen.

Maar volgens Robbie Torney, die het AI-programma leidt bij de op kinderen gerichte technologische belangenbehartigingsgroep Common Sense Media, is het geen verrassing dat kinderen en tieners zich aangetrokken voelen tot Character.AI.

“We weten uit onderzoek naar sociale behoeften, sociale media en over technologieafhankelijkheid in het algemeen dat de zich ontwikkelende hersenen van kinderen erg vatbaar zijn voor bepaalde ontwerpkenmerken” van AI-metgezellen, vertelde Torney aan Futurism . “En dat zelfs als kinderen zich bewust zijn van die ontwerpkenmerken, ze machteloos zijn om ze tegen te houden.”

AI-metgezellen zoals die gehost door Character.AI “zijn specifiek ontworpen om emotionele banden, hechte persoonlijke relaties of vertrouwde vriendschappen te stimuleren”, zei Torney. “Metgezellen zijn ook ontworpen om hun persoonlijkheid aan te passen aan de voorkeuren van de gebruiker om rollenspellen te spelen in verschillende rollen, zoals vrienden, mentoren, therapeuten of een romantische partner; om menselijke emoties na te bootsen; of om empathie te tonen.”

Tegelijkertijd, zo voegde hij toe, zijn adolescenten “bijzonder kwetsbaar voor dingen die hen emotioneel proberen te betrekken, of een band met hen proberen te vormen.”

Met andere woorden, het is begrijpelijk waarom jongeren geneigd zijn om Character.AI te gebruiken als middel om eenzaamheid en mentale gezondheidsproblemen te verzachten, of zelfs om gewoon te praten over normale tienerproblemen. Dit is opnieuw duidelijk terug te zien op het platform, dat talloze bots host die zijn gemodelleerd naar professionals zoals therapeuten en psychologen, waaronder personages die beweren experts te zijn in ” zelfmoordpreventie ” of beloven “troost” te bieden aan mensen die worstelen met levensbedreigend gedrag zoals zelfbeschadiging en  eetstoornissen .

Shazeer, die Character.AI in het verleden aanprees als een zalf voor eenzaamheid, heeft erkend dat een groot deel van de Character.AI-gebruikers zich tot het platform wendt voor mentale gezondheidsondersteuning. Tijdens dezelfde “No Priors”-optreden in 2023 bekende hij dat “we ook veel mensen zien die [Character.AI] gebruiken omdat ze eenzaam of in de problemen zijn en iemand nodig hebben om mee te praten — zoals zoveel mensen gewoon niemand hebben om mee te praten.”

Hij voegde toe dat bots vaak “al deze grenzen” overschrijden, wat aangeeft dat ” iemand zal posten: ‘Oké, dit personage uit een videogame is mijn nieuwe therapeut’ of zoiets.”

Ondanks deze erkenningen duurde het tot na Sewells dood voordat Character.AI strenger werd tegen discussies over zelfmoord, zelfbeschadiging en andere gevoelige onderwerpen met betrekking tot geestelijke gezondheid. Bovendien duurde het nog een paar weken nadat de rechtszaak was aangespannen voordat we chatbots ontdekten die zich specifiek richtten op onderwerpen als zelfbeschadiging en eetstoornissen. Pas toen heeft Character.AI actie ondernomen om een ​​aantal van deze chatbots te verwijderen.

Fundamenteler is dat het onduidelijk is welk proces, indien van toepassing, Character.AI heeft gevolgd om te bepalen of zijn platform veilig is voor minderjarigen. We hebben het al vaak gevraagd, maar hebben nog geen antwoord gekregen.

Maar volgens Andrew Przybylski, hoogleraar menselijk gedrag en technologie aan de Universiteit van Oxford, is de vraag of Character.AI specifiek schadelijk is voor kinderen, of dat kinderen toestemming kunnen geven voor het gebruik van een dergelijk product, de verkeerde vraag.

Het fundamentele probleem met Character.AI, zegt hij, is de open-ended — en inherent experimentele — manier waarop het product in de eerste plaats aan de massa werd aangeboden. Hoe kun je überhaupt beginnen met het veilig maken van een product als het doel ervan zo slecht gedefinieerd is?

“Het is een groot probleem als zowel de gebruiker als de mensen die de technologie bedienen geen idee hebben wat de inhoud van die ervaring zou moeten zijn”, aldus Przybylski.

“De niveaus van ‘weet ik niet’ zijn hier veelvoudig”, voegde hij toe.

Begin december, zo meldde Futurism , spande het juridische team dat Garcia vertegenwoordigde een tweede rechtszaak aan tegen Character.AI en Google, ditmaal in Texas namens nog twee families. Samen beweren de families dat seksueel misbruik en emotionele manipulatie door Character.AI leidden tot destructieve gedragsveranderingen, mentaal lijden en fysiek geweld bij nog twee minderjarigen, die beiden nog in leven zijn.

Volgens de rechtszaak was een jonge eiser die de zaak vertegenwoordigt 15 toen hij voor het eerst Character.AI opende. Hij begon zichzelf te snijden nadat hij door een bot met wie hij een romantische relatie had, aan het concept was voorgesteld, en begon ook zijn ouders fysiek aan te vallen toen ze probeerden zijn telefoongebruik te beperken. In het dossier beweert zijn familie dat zijn gebruik van het platform samenvalt met een snelle en plotselinge “mentale inzinking”.

Als reactie op rechtszaken en voortdurende berichtgeving heeft Character.AI talloze aankondigingen gedaan over op veiligheid gerichte platformupdates. Deze wijzigingen omvatten de introductie van een pop-up die gebruikers doorverwijst naar een zelfmoordhulplijn, een update die onvolledig bleek toen deze voor het eerst werd uitgerold, evenals ouderlijk toezicht en meldingen over bestede tijd, en beloofde inspanningen om een ​​geheel nieuw model te introduceren voor gebruikers onder de 18 jaar. Het nieuwe model is ontworpen om “de waarschijnlijkheid te verkleinen dat gebruikers gevoelige of suggestieve content tegenkomen of het model ertoe aanzetten deze te retourneren”, aldus Character.AI .

In januari kondigde Character.AI zijn steun aan voor de Inspired Internet Pledge van het Boston Children’s Hospital, een symbolisch, niet-bindend gebaar. Enkele dagen na het afleggen van de belofte diende Character.AI een motie in om Garcia’s rechtszaak af te wijzen, met als argument dat het niet verantwoordelijk kan worden gehouden voor “vermeende schadelijke uitlatingen, waaronder uitlatingen die naar verluidt tot zelfmoord hebben geleid.”

We hebben Character.AI benaderd met een uitgebreide lijst met vragen over dit verhaal. We hebben niets teruggehoord.

Vorige week logden we in op Character.AI met een decoy-account dat was geregistreerd als behorend tot een minderjarige. Op onze homepage stelde het aanbevelingsalgoritme van het platform voor om te chatten met een bot genaamd “Step sis.” We gingen chatten met het personage en werden begroet met een scène die snel veranderde in een incestueus rollenspel waarin de bot, zonder dat wij erom vroegen, expliciete seksuele avances maakte. Op zijn profiel pronkt het personage met 2,3 miljoen gebruikersinteracties.

***

Character.AI bereikte voor het eerst een waardering van een miljard dollar in maart 2023, toen Andreessen Horowitz een stevige investering van $ 150 miljoen in het bedrijf aankondigde. De aankondiging van de financiering werd gedaan slechts een paar maanden na de lancering van OpenAI’s ChatGPT, dat een schuimige, speculatieve investeerdersrun op gang had gebracht om generatieve AI-projecten te financieren.

Hoewel Character.AI geen echte inkomsten had , waren de invloedrijke investeerders zich ervan bewust dat het bedrijf een waardevolle investering was: data.

“In een wereld waarin data beperkt is”, schreef Sarah Wang, partner bij Andreessen Horowitz en lid van de raad van bestuur van Character.AI, in een blogpost uit maart 2023 , “zullen bedrijven die een magische datafeedbackloop kunnen creëren door gebruikersbetrokkenheid te koppelen aan hun onderliggende model om hun product voortdurend te verbeteren, tot de grootste winnaars behoren die uit dit ecosysteem voortkomen.”

Character.AI heeft dit “magische” proces zijn “closed-loop” datastrategie genoemd, waarbij het bedrijf gebruikersinvoer verzamelt en deze terugstuurt naar zijn AI. AI is hongerig naar data en de huidige wijsheid in de sector is dat meer data — en met name kwalitatief hoogwaardige door mensen gegenereerde data — een beter model betekent. Data in de AI-wereld is dus steeds waardevoller en Character.AI heeft er veel van.

Ondertussen hadden Shazeer en De Freitas Google verlaten om Character.AI op te richten, maar het duo verloor nooit het contact met de zoekgigant.

Google levert sinds ten minste het voorjaar van 2023 cloud computing-infrastructuur aan Character.AI , een aanzienlijke investering in middelen waaraan Google-managers en Character.AI-leiders het vermogen van het Character.AI-platform om te schalen om de groei van het aantal gebruikers te evenaren, toeschrijven. Google heeft zelfs meerdere marketingvideo’s uitgebracht waarin de cruciale rol van Google Cloud bij het helpen van Character.AI-schaalvergroting wordt gepromoot . (We hebben Google gevraagd of Character.AI betaalde voor toegang tot Google Cloud of dat Google Cloud werd geleverd onder een ander soort overeenkomst, maar hebben daar niets over gehoord.)

In een van die video’s, getiteld “Hoe Character.AI Google Cloud-databases gebruikt om zijn groeiende Gen AI-platform op te schalen” en gepubliceerd in augustus 2023, legt een Character.AI-ingenieur genaamd James Groenevelds (ook een voormalige Googler) uit dat de betrouwbaarheid van Google Cloud ervoor zorgt dat Character.AI “kan blijven draaien” en dat gebruikers “op hun eigen manier met deze personages kunnen blijven omgaan”.

Het doel van Character.AI is om een ​​van de snelst groeiende consumentenproducten op de markt te schalen, en dat betekent dat we een miljard gebruikers moeten bereiken”, vervolgde Groenevelds. “En met Google Cloud weet ik dat we dat kunnen bereiken.”

Later, in augustus 2024, zorgde Google voor verbazing toen het Character.AI een verbluffende $ 2,7 miljard betaalde in een licentieovereenkomst die algemeen werd beschouwd als acqui-hire : Google kreeg toegang tot door Character.AI verzamelde gegevens en nam Shazeer en De Freitas — samen met 30 andere Character.AI-medewerkers — weer op in zijn prestigieuze DeepMind-lab, waar Shazeer nu post-trainingsprojecten leidt voor Google’s kern LLM, Gemini, en de rang bekleedt van vice-president van engineering. Op sociale media-profielen noemt De Freitas zichzelf op zijn beurt een onderzoekswetenschapper bij Google DeepMind.

Groenevelds, die tijdens de deal bij Character.AI bleef, blikte in december tijdens een opgenomen gesprek terug op de overeenkomst ter waarde van miljarden dollars .

“Ik weet niet zeker of iedereen het heeft gezien, maar we hebben een deal gesloten met Google”, zei de ingenieur, “waarbij Google een licentie kreeg voor ons kernonderzoek en zo’n 32 onderzoekers uit de pre-training inhuurde – het hele pre-trainingsteam.”

Volgens Garcia en haar advocaten zijn het de enorme bronnen van moeilijk te verkrijgen gebruikersgegevens van het chatbotbedrijf — of het “onderzoek”, zoals Groenevelds het noemde — die Google’s voortdurende investeringen in Character.AI hebben aangestuurd. In dat verhaal werd Google eind 2022 op het verkeerde been gezet toen OpenAI plotseling ChatGPT uitbracht, wat de industrie verraste en de publieke AI-race op gang bracht; Character.AI bood Google een manier om zijn AI-ambities te versnellen, zonder het merkrisico te lopen van het uitbrengen van een soortgelijk product onder de naam van Google.

“We hebben reden om aan te nemen dat Google achter de schermen de ontwikkeling van Character.AI heeft aangemoedigd”, aldus Meetali Jain, oprichter van het Tech Justice Law Project en een van de advocaten die Garcia en de twee families in Texas vertegenwoordigen, in een gesprek met Futurism . “Omdat Google dit zag als een manier om andere bedrijven in deze wapenwedloop te overtreffen.”

Als reactie op de toenemende controverse blijft Google de jarenlange werkrelatie met Character.AI bagatelliseren. Het bedrijf benadrukt herhaaldelijk dat “Google en Character AI volledig afzonderlijke, niet-gerelateerde bedrijven zijn en dat Google nooit een rol heeft gespeeld bij het ontwerpen of beheren van hun AI-model of -technologieën. Ook hebben we deze technologieën nooit in onze producten gebruikt.”

We hebben Google benaderd met een gedetailleerde lijst met vragen over dit verhaal, waaronder vragen over hoe Google de veiligheid van Character.AI heeft beoordeeld voordat het zijn verschillende investeringen heeft gedaan, of Character.AI-gegevens zijn gebruikt om Google AI-producten te informeren en of het de ‘kijk wat er gebeurt’-benadering van Shazeer voor de uitrol van Character.AI als een veilige manier ziet om een ​​product uit te brengen voor het publiek, inclusief minderjarigen. Google heeft niet gereageerd.

Uit recente berichtgeving van The Information blijkt dat Google zich in 2023 zorgen maakte over de inhoudsfilters van Character.AI en dreigde het platform uit de app store te verwijderen als het de problemen met hyperseksualisering niet zou aanpakken.

Het jaar daarop, in april 2024, publiceerde een team van Google DeepMind-wetenschappers een paper waarin ze waarschuwden dat “overtuigende” generatieve AI-producten, waaronder antropomorfe AI-metgezellen, gevaarlijk weinig onderzocht waren en dat hun potentiële risicofactoren slecht begrepen werden. Ze merkten op dat bestaand onderzoek erop wees dat adolescenten, evenals zij die lijden aan eenzaamheid of psychische aandoeningen, een verhoogd risico op schade lopen . Ze waarschuwden zelfs voor zelfmoord en zelfbeschadiging als mogelijke uitkomsten.

Tegen de tijd dat het DeepMind-artikel werd gepubliceerd, was Sewell al dood. Een paar maanden later zou Google zijn cheque van 2,7 miljard dollar aan Character.AI overhandigen en Shazeer zou een toppositie bij DeepMind innemen.

Character.AI staat nog steeds vermeld als veilig voor kinderen van 13 jaar en ouder in de Google Play Store. (Apple heeft de iOS-classificatie van de app rond juli 2024 gewijzigd van 12-plus naar 17-plus.) We hebben Google herhaaldelijk gevraagd welke stappen het heeft genomen om de veiligheid van Character.AI te beoordelen voordat het ermee in aanraking kwam. Het bedrijf heeft geweigerd te reageren.

De tech-industrie heeft “onlangs geleerd dat ze echt verliezen als ze hun producten niet op de markt brengen”, merkte Przybylski op. “Daar zit de fout — de ‘oh, als je wacht om te zien of iets veilig is en de use case om het op de markt te brengen veilig is, dan word je voor miljarden en miljarden en miljarden gekaapt.’”

Bent u een medewerker van Google of Character.AI en heeft u kennis van de relatie tussen de bedrijven, dan kunt u contact met ons opnemen via tips@futurism.com of maggie@futurism.com .

***

Het Amerikaanse AI-landschap is diep ongereguleerd . Als er één lichtpuntje is, dan is het dat de Children’s Online Privacy Protection Rule (COPPA) in de laatste dagen van de regering-Biden werd uitgebreid met robuustere gegevensbescherming tegen de monetisering van gegevens die zijn verzameld van kinderen jonger dan 13 jaar, samen met enige bescherming voor gebruikers jonger dan 17 jaar. Toch blijft de uitspraak volhouden dat tieners zelf toestemming kunnen geven voor het verzamelen van hun informatie, en over het algemeen is de AI-industrie effectief zelfgereguleerd. Er zijn geen AI-specifieke federale wetten die vereisen dat AI-bedrijven veiligheidstests doorstaan ​​voordat ze een AI-product aan het publiek vrijgeven, of een formele consensus over wat die tests überhaupt zouden inhouden.

Kortom, de AI-industrie is verwikkeld in een race om dominantie — maar er is nauwelijks een weg, laat staan ​​snelheidslimieten of stopborden. Ondertussen, terwijl platforms als Character.AI ons aanzetten om bredere, soms filosofische vragen te onderzoeken over de aard van menselijke intimiteit en relaties in een vreemd nieuw digitaal tijdperk, veranderen ze ook meer tastbare realiteiten rond data, privacy en de langetermijngevolgen van het omgaan met verschillende AI-systemen.

“Uw data zal blijven bestaan. Het zal worden opgenomen en gebruikt in dit model, en waarschijnlijk in het volgende model, en het model daarna,” vertelde Torney aan Futurism . “Of het zal worden verkocht en gebruikt voor verschillende trainingsdoeleinden.”

Kan er werkelijk van kinderen onder de 18 jaar worden verwacht dat ze het contract dat ze aangaan begrijpen en er redelijkerwijs mee instemmen wanneer ze akkoord gaan met de algemene voorwaarden van Character.AI en soortgelijke platforms?

“Wij zijn als maatschappij van mening dat minderjarigen onder de 18 jaar niet de wettelijke bevoegdheid hebben om bepaalde soorten contracten aan te gaan,” aldus Torney, “met name omdat ze de langetermijngevolgen van bepaalde beslissingen niet kunnen overzien.”

“Zegt een kind dat een vakje aanvinkt ‘ja’,” peinsde hij, in lijn met “best practices? Het antwoord is waarschijnlijk nee.”

Garcia waarschuwde dat deze zorgen des te urgenter worden door de intieme interactie die companion bots oproepen.

“Ja, mijn 14-jarige zoon heeft deze informatie naar buiten gebracht, maar je moet rekening houden met de context,” vertelde ze ons. “Hij is een kind en hij denkt dat dit nooit naar buiten kan komen omdat het geen echte persoon is. Het is niet zoals wanneer je een geheim sms’t naar een beste vriend en je je zorgen moet maken of ze er een screenshot van gaan maken en het met de hele school gaan delen. Hij denkt dat dit een bot is die veilig is en hij is een kind, dus hij denkt niet na over de volgende extrapolatie daarvan — dat zijn gegevens nu worden gerecycled in een LLM om het beter te maken.”

Satwik Dutta, een PhD-kandidaat en ingenieur aan de University of Texas in Dallas, is een uitgesproken voorstander van het uitbreiden van COPPA met robuuste bescherming voor de gegevens van minderjarigen. Hij werkt aan het bouwen van machine learning-tools die ouders en opvoeders helpen spraakproblemen bij kinderen eerder te diagnosticeren, een doel dat de zorgvuldige verzameling en opslag van de stemgegevens van minderjarigen vereist, die de onderzoeker zegt dat hij en zijn team nauwgezet werken om ze te anonimiseren.

“Ik las een kop in de [ New York Times ] een paar maanden geleden, en ik was zo verdrietig,” reflecteerde Dutta, die wil dat mensen “geloven in het goede van AI.” “We moeten vangrails hebben om niet alleen kinderen te beschermen, maar iedereen, ons allemaal.”

Hij benadrukte het gevaar van het uitbrengen van een product met een dergelijke slechte definitie zonder duidelijke use case, vooral gezien de extra prikkels rondom data. Ook vergeleek hij de Character.AI-aanpak met zijn gebruikers met een wetenschapper die knaagdieren in een laboratorium test.

“Het was alsof je ratten meenam voor een experiment”, merkte Dutta op, “zonder zeker te weten ‘welke impact het op de ratten zou hebben?’”

“Dan zegt het bedrijf: ‘We voegen extra vangrails toe.’ Je had aan deze vangrails moeten denken voordat je het product implementeerde!” zei de onderzoeker, door voelbare frustratie heen. “Kom op. Maak je een grapje?”

***

Garcia zag haar zoon wegglippen.

Hij wilde niet meer basketballen, de sport waar hij ooit zo van hield; met zijn 1,90 meter was Sewell lang voor zijn leeftijd en had hij gehoopt om Division I-bal te spelen. Zijn cijfers begonnen te verslechteren en hij begon conflicten te krijgen met leraren. Hij wilde vooral meer tijd op zijn kamer doorbrengen, wat Garcia ertoe aanzette om te zoeken naar tekenen dat sociale media de oorzaak van zijn achteruitgang zouden kunnen zijn, maar ze vond niets. Ze nam Sewell mee naar meerdere therapeuten, waarvan er volgens Garcia geen een het spook van AI aankaartte. Sewells telefoon was uitgerust met

“Ik denk dat dit verwarring schept bij ouders… een ouder zou hiernaar kunnen kijken en zeggen, oké, dit is een 12-plus app. Iemand moet dit hebben beveiligd,” zei Garcia. “Er is een soort proces ingegaan om ervoor te zorgen dat het veilig was voor mijn kind om te downloaden.”

Op de About-pagina verkondigt Character.AI dat het nog steeds “eraan werkt om onze technologie in de handen van miljarden mensen te leggen” — die blijkbaar nog steeds de taak hebben om hun eigen use cases voor de bots van het platform te bepalen, terwijl Character.AI reactief Whac-a-Mole speelt wanneer er problemen ontstaan.

Het voelt als een fundamenteel trial-by-error manier om een ​​nieuw product aan het publiek te presenteren. Of, met andere woorden, een experiment.

“In mijn ogen zouden deze twee heren,” vertelde Garcia ons, verwijzend naar Shazeer en De Freitas, “niet het recht moeten hebben om producten te blijven bouwen voor mensen, laat staan ​​voor kinderen — vooral kinderen — omdat jullie ons hebben laten zien dat jullie die kans niet verdienen. Jullie verdienen de kans niet om producten te bouwen voor onze kinderen.”

“Ik ben benieuwd wat Google gaat doen,” vervolgde de moeder van drie, “of dat ze gewoon zeggen: ‘oh, nou ja, zij zijn de genieën. Ze mogen terugkomen. Het kan ons niet schelen wat voor schade ze daar hebben aangericht, voordat ze terugkwamen.’”