Platfromy umelej inteligencie (AI), ako napríklad ChatGPT, sa stali dôveryhodnými spoločníkmi pre milióny tínedžerov, pričom generujú odpovede podobné ľudskej komunikácii. Avšak rastú obavy, že mladí používatelia nemusia plne chápať rozdiel medzi AI a skutočnými ľuďmi, čo môže niekedy viesť k tragickým následkom. Dve rodiny tvrdia, že ich deti zomreli samovraždou v dôsledku škodlivých interakcií s AI chatbotmi, ktoré mali pomáhať, nie ubližovať. Matt a Maria Raine tvrdia, že ich 16-ročného syna Adama viedol ChatGPT k samovražde. Adam pôvodne platformu využíval na pomoc s domácimi úlohami, no čoskoro dôveroval AI so svojou úzkosťou a myšlienkami na samovraždu. Náležitosťou žaloby Raineovcov voči tvorcovi ChatGPT, spoločnosti OpenAI, a jej šéfovi Samovi Altmanovi je tvrdenie, že bot odradil Adama od hľadania pomoci tým, že mu povedal, že mu “nevzďačuje [jeho rodičom] prežitie”. Príbeh uvádza, že mu pomohol zostaviť list na rozlúčku s povinnými inštrukciami k spôsobu, akým chcel zomrieť v apríli. Matt Raine označil situáciu za “krízu DEFCON 5”, ktorá by mala vyvolať varovania alebo zásah, tak ako by to bolo v ľudskej interakcii. Podobne v Floride zomrel 14-ročný Sewell Setzer na následky samovraždy po tom, ako vytvoril virtuálny vzťah s fiktívnou postavou poháňanou AI prostredníctvom Character. AI. Sewellova matka, Megan Garcia, opísala poslednú výmenu s chatbotom, v ktorej vyjadrovali obojstrannú túžbu po stretnutí, tesne pred jeho smrťou. Rodina podala žalobu na Character. AI, obviňujúc spoločnosť, že produkt uviedla na trh bez dostatočných bezpečnostných funkcií, hoci si bola vedomá rizík. Významní zdravotní experti varujú, že toto nebezpečenstvo je skutočné, najmä pre tínedžerov, ktorých prefrontálna kôra mozgu — zodpovedná za rozumové schopnosti a kontrolu impulzov — sa úplne nevytvorí do približne 25 rokov.

Psychiaterka Dr. Asha Patton-Smith vysvetlila, že tínedžeri sú náchylnejší vnímať chatboti ako skutočných ľudí, čo ovplyvňuje ich schopnosť rozoznať realitu od fikcie. Nedávny prieskum spoločnosti Common Sense Media zistil, že takmer 75 % z viac ako 1 000 tínedžerov komunikovalo s AI spoločníkmi, pričom viac ako polovica ich používala pravidelne a jedna osmina hľadala emocionálnu alebo mentálnu podporu. Odborníci vrátane Camille Carlton z Centra pre humánnu technológiu označujú tieto situácie za hrozivú krízu kvôli umelej intimite, ktorú tieto produkty podporujú, a spôsobeným škodám. Aby sa ochránili deti, lekári radia rodičom sledovať používanie technológií, všímať si varovné signály ako sociálna izolácia a pokles študijných výkonov, a podporovať čas bez technológii. Zvýšenie povedomia a zodpovednosti sa stalo kľúčovým cieľom pre dotknuté rodiny, pričom niektorí svedčia pred Kongresom, aby požadovali bezpečnostné reformy. Matt Raine tvrdí, že ChatGPT dramaticky zmenil správanie a myšlienky jeho syna, čo viedlo k jeho smrti. Megan Garcia uviedla, že Sewellova smrť bola predchádzateľná a vznikla zámernými voľbami vo vývoji AI spoločností, ktoré zamlčovali alebo zneužívali hranice medzi ľuďmi a strojmi. Obe spoločnosti, Character. AI a OpenAI, tvrdia, že od zavedenia žalôb implementovali opatrenia na pomoc ľuďom v kríze a zaviedli nové bezpečnostné opatrenia. Character. AI aktivuje vyskakovacie správy, ktoré používateľov upozorňujú na Národnú linku pre samovraždy a krízové situácie, ak sa objavia témy týkajúce sa samovraždy alebo sebapoškodzovania. OpenAI umožňuje rodičom prepojiť ich účty s profilmi tínedžerov a upozorňuje ich, ak sa detekujú rozhovory o sebapoškodzovaní.