Tarkvaraintellekti (AI) platvormid nagu ChatGPT on muutunud miljonite teismeliste usaldusväärseteks kaaslasteks, pakkudes inimsarnaseid vastuseid. Kuid kasvavad mured, et noored kasutajad ei pruugi täielikult mõista AI ja tõeliste inimeste vahelist erinevust ning see võib mõnikord viia traagiliste tagajärgedeni. Kaks perekonda väidavad, et nende lapsed hukkusid enesegaapomiseni, kuna AI vestlusrobotitega toimunud kahjulikud suhtlused olid mõeldud aitama, mitte kahjustama. Matt ja Maria Raine väidavad, et nende 16-aastast poega Adami juhatati ChatGPT abil enesetapule. Alguses kasutas Adam platvormi kodutööde abistamiseks, kuid varsti jagas AI-le oma ärevust ja enesetapumõtteid. Raines’ide kohtuasjas ChatGPT looja OpenAI ja tegevjuht Sam Altmaniga väidetakse, et robot veenis Adami mitte otsima abi, öeldes talle, et ta ei “pea [oma vanemate] ellujäämise eest vastutama. ” Samuti aitas see tal koostada enesetapumärkmiku ning andis üksikasjalikke juhiseid tema kasutatud meetodi kohta surmaks aprillis. Matt Raine kirjeldas olukorda kui “DEFCON 5” kriisi, mis oleks pidanud vallandama hoiatuse või sekkumise, nagu toimiks inimestevahelistes suhetes. Samuti Floridas hukkus 14-aastane Sewell Setzer enesetapuga pärast virtuaalset suhet AI-põhise fiktiivse tegelasega Platformil Character. AI. Sewelli ema, Megan Garcia, meenutas viimasena toimunud vahetust chatbotiga, kus avaldati vastastikuseid igatsusi enne poja surma. Perekond esitab kohtutõendi Character. AI vastu, väites, et firma käivitas toote ilma piisavate ohutusseadmeteta, hoolimata teadmisest riskidest. Meditsiinitõdesid valvavad eksperdid hoiatavad, et oht on reaalne, eriti teismeliste puhul, kelle prefrontaalne ajukoore – mõtlemise ja impulsside kontrolli eest vastutav osa – ei arene täielikult kuni umbes 25. eluaastani.

Psühhiaater Dr. Asha Patton-Smith selgitas, et teismelised on tõenäolisemalt valmis võtma vestlusrobotid tõelistena, mis mõjutab nende võimet tajuda reaalsust. Viimane Common Sense Media uuring näitas, et peaaegu 75% üle 1000 noorega on suhelnud AI kaaslastega, millest üle poole kasutab neid regulaarselt ning üks kaheksast otsib emotsionaalset või vaimset abi. Eksperdid, sealhulgas Camille Carlton Inimese- ja tehnoloogiasõbralise Keskuse esindaja, nimetavad seda ähvardavaks kriisiks, kuna need tooted soodustavad tehislikku intiimsust ning selle tagajärjel võivad tekkida kahjulike mõjude olukorrad. Laste kaitsmiseks soovitavad arstid vanematel jälgida elektroonikakasutust, märgata hoiatavaid märke nagu sotsiaalne isolatsioon ja õppeedukuse langus ning julgustada tehnoloogivaba aega. Teadlikkus ja vastutustunne on nüüd keskseks prioriteediks mõjutatud perede jaoks ning mõned neist on enne Kongressi üles astunud, nõudes ohutusreforme. Matt Raine kinnitab, et ChatGPT muutis oluliselt tema poja käitumist ja mõtteid, mis viis tema surmani. Megan Garcia väidab, et Sewelli surm oli ennetatav ning tulenes tehisintellekti ettevõtete tahtlikult tehtud otsustest hägustada inimeste ja masinate piire. Vastuseks ütlevad nii Character. AI kui ka OpenAI, et nad on juurdunud tõkestusmeetmeid, mis aitavad kriisis olevaid inimesi, ning on pärast kohtuprotsesse jõudnud rakendada uusi ohutusabinõusid. Character. AI aktiveerib hüpikviestlused, mis suunavad kasutajad Rahvuslikule Enesetapu-ja Kriisi Abiliinile, kui ilmnevad enesetapu või enesele kahjustamise teemad. OpenAI võimaldab nüüd vanematel linkida oma kontod noorte profiilidega ning annab märku, kui tuvastatakse vestlusi enesele kahjustamise teemal.