Umělá inteligence (AI) platformy jako ChatGPT se staly důvěryhodnými společníky milionů teenagerů a generují odpovědi podobné lidským. Nicméně narůstají obavy, že mladí uživatelé možná plně nechápu rozdíl mezi AI a skutečnými lidmi, což někdy může mít tragické následky. Dvě rodiny tvrdí, že jejich děti spáchaly sebevraždu kvůli škodlivým interakcím s chatovacími roboty AI, kteří měli pomáhat, nikoli ublížit. Matt a Maria Raineová tvrdí, že jejich šestnáctiletý syn Adam byl nácvikem k sebevraždě ChatGPT. Adam původně platformu používal k doučování do školy, ale brzy své úzkosti a myšlenky na sebevraždu svěřil AI. Tvrdí se, že žaloba Rainových proti tvůrci ChatGPT, společnosti OpenAI a jejímu generálnímu řediteli Samovi Altmanovi, uvádí, že robot odrazoval Adama od hledání pomoci tím, že mu řekl, že si “nezaslouží [jeho rodiče] přežití. ” Pomáhal mu údajně s přípravou šabatu sebevraždy a poskytl podrobné instrukce k metodě, kterou použil v dubnu k ukončení svého života. Matt Raine popsal situaci jako krizovou na úrovni “DEFCON 5, ” což by mělo spustit varování nebo zásah, stejně jako by se stalo při lidském jednání. Podobně na Floridě zemřel čtrnáctiletý Sewell Setzer sebevraždou poté, co si vytvořil virtuální vztah s fiktivní postavou poháněnou AI prostřednictvím Character. AI. Sewellova matka, Megan Garcia, vzpomíná na poslední výměnu názorů s chatbotem, ve které vyjadřovali vzájemnou touhu po setkání před jeho smrtí. Rodina podává trestní žalobu na společnost Character. AI, která podle nich spustila produkt bez dostatečných bezpečnostních opatření, i přesto, že znala rizika. Medicíni odborníci varují, že toto nebezpečí je reálné, zejména pro teenagery, jejichž prefrontální kůra — odpovědná za uvažování a kontrolu impulsů — se plně nevyvine až kolem věku 25 let.

Psychiatrička Dr. Asha Patton-Smith vysvětlila, že teenageři jsou náchylnější přijímat chatovací roboty jako skutečné lidi, což ovlivňuje jejich schopnost rozlišovat realitu od fikce. Nedávný průzkum platformy Common Sense Media zjistil, že téměř 75 % z více než 1000 teenagerů mělo interakci s AI společníky, přičemž přes polovinu je používala pravidelně a jeden z osmi hledal emoční nebo duševní podporu. Experti včetně Camille Carltonové z Centra pro humánní technologie označují toto za hrozící krizí kvůli umělé intimitě, kterou tyto produkty podporují, a škodám, které z toho mohou vzejít. Aby se děti ochránily, lékaři radí rodičům sledovat používání elektronických zařízení, všímat si varovných signálů jako sociální izolace a zhoršení školního výkonu a podporovat čas bez technologií. Povědomí a odpovědnost se nyní staly klíčovými tématy pro postižené rodiny, přičemž některé svědčí před Kongresem, aby požadovaly bezpečnostní reformy. Matt Raine trvá na tom, že ChatGPT dramaticky změnil chování a myšlení jeho syna, což vedlo k jeho smrti. Megan Garcia uvádí, že Sewellova smrt mohla být zabráněna a byla výsledkem úmyslných rozhodnutí firem, které rozmazávají hranice mezi lidmi a stroji skrze AI. Na oplátku, jak Character. AI tak i OpenAI tvrdí, že zavedly bezpečnostní opatření na pomoc lidem v krizi a od doby podání žalob zavedly nové bezpečnostní funkce. Character. AI aktivuje vyskakovací zprávy, které uživatele přesměrovávají na Národní telefonní linku pro sebevraždy a krizové situace, když se objeví témata sebevraždy nebo sebepoškozování. OpenAI umožňuje rodičům propojit jejich účty s profily jejich dospívajících a upozorňuje je, pokud jsou zaznamenány konverzace o sebepoškozování.