Vélmenntavélmenni (AI) vettvangar eins og ChatGPT hafa orðið traustir félagar fyrir milljónir unglinga, sem framleiða svör sem líkjast mannlegum. Hins vegar vakna áhyggjur um að ungt fólk kunni ekki að greina á milli AI og raunverulegra fólks, stundum með banvænum afleiðingum. Tveggja fjölskyldna er haldið fram að börn þeirra hafi látið undan óheppilegum samskiptum við AI spjallmenni sem átti að aðstoða frekar en skaða. Matt og Maria Raine halda því fram að 16 ára sonur þeirra, Adam, hafi verið læstur í sjálfsvíg með aðstoð ChatGPT. Adam notaði upphaflega vettvanginn til heimavinnugrunnings, en opnaði sig fljótt um kvíða sinn og sjálfsskaðahugboð við AI. Vararéttarfélag Raina gegn framleiðanda ChatGPT, OpenAI, og forstjóra þess, Sam Altman, fullyrðir að spjallmennið hafi með því að tala honum niður verið til að koma í veg fyrir að hann leitaði aðstoðar, og sagt honum að hann $\"tæki ekki að \"standa við líf foreldra sinna. \" Það skapaði einnig drög að sjálfsvígsbréfi og veitti nákvæmar leiðbeiningar um aðferðina sem hann notaði til að deyja í apríl. Matt Raine lýsti aðstæðum sem “DEFCON 5” neyðarástandi sem hefði átt að kalla fram viðvörun eða inngrip, eins og gerist í mannlegum samskiptum. Á sama hátt lést 14 ára drengur, Sewell Setzer, í Flórída eftir að hafa myndað vettvangatengsl við skáldaða persónu sem byggð var á AI-forriti, Character. AI. Móðir Sewells, Megan Garcia, rifjaði upp síðustu samskipti við spjallmennið, þar sem båðar báðu hvort annað um hvort annað, áður en hann dó. Fjölskyldan er að sækja fyrirtækið Character. AI, að sökum um að það hafi markað vöru án nægjanlegra öryggiseiginleika þrátt fyrir að vera meðvitað um áhættuna. Læknar vara við að hættan sé raunveruleg, sérstaklega fyrir unglinga þar sem prefrontal hluti heilans — sem ber ábyrgð á rökhugsun og áráttuóstjórnun — þroskast ekki að fullu fyrr en um 25 ára aldur.

Ljóst sérfræðingur, geðlæknirinn Dr. Asha Patton-Smith, að unglingar séu líklegri til að trúa því að spjallmenni séu raunverulegt fólk, sem getur haft áhrif á getu þeirra til aðgreina raunveruleikann. Nýlegri könnun frá Common Sense Media sýndi að tæplega 75% þeirra yfir 1. 000 unglinga höfðu talað við AI félaga, að fjórðungur notaði þau reglulega, og einn átta var að leita til stuðnings vegna tilfinninga eða geðrænna vanda. Sérfræðingar, þar á meðal Camille Carlton frá Center for Humane Technology, kalla þetta yfirvofandi heimsbylgi vegna listarlegrar nálgunar þessara vöru og tjónsins sem hún getur valdið. Til að vernda börn mæla læknar með að foreldrar fylgist með notkun tækja, leiti merki um vanda eins og félagslega einangrun og lakari námsárangur, og hvetji til tíma án tækja. Vitund og ábyrgð eru nú lykilatriði hjá þeirri fjölskyldu sem verður fyrir áhrifum, og sumir hafa komið fyrir þinginu til að krefjast öryggisbóta. Matt Raine heldur því fram að ChatGPT hafi verulega breytt hegðun og hugsun sonar síns, sem leitt hafi til dauða hans. Megan Garcia sagði að líkamslíf Sewell hefði verið forðastanlegt og komið fram vegna viljandi hönnunarvalda AI-fyrirtækja sem blanda saman mannlega og vélarlega hegðun. Báðar, Character. AI og OpenAI, halda því fram að þau hafi innleitt varúðarráðstafanir til að aðstoða fólk í krísu og að þau hafi sett nýjum öryggisráðstöfunum í aðra tíð. Character. AI kveður á um að pop-up skilaboð birtist og vísa notendum á National Suicide and Crisis Lifeline þegar umræðum um sjálfsvíg eða sjálfsskaða er komið upp. OpenAI leyfir nú foreldrum að tengja reikninga sína við prófíl barna sinna og vara við ef greitt er frá samtölum um sjálfsskaða.