Οι πλατφόρμες τεχνητής νοημοσύνης (ΑΙ) όπως το ChatGPT έχουν γίνει αξιόπιστοι σύντροφοι εκατομμυρίων εφήβων, παράγοντας απαντήσεις παρόμοιες με αυτές ανθρώπων. Ωστόσο, αυξάνονται οι ανησυχίες ότι οι νεαροί χρήστες ενδέχεται να μην αντιλαμβάνονται πλήρως τη διαφορά μεταξύ της τεχνητής νοημοσύνης και πραγματικών ανθρώπων, μερικές φορές με τραγικές συνέπειες. Δύο οικογένειες υποστηρίζουν ότι τα παιδιά τους πέθαναν από αυτοκτονία λόγω επιβλαβών αλληλεπιδράσεων με chatbots τεχνητής νοημοσύνης προορισμένους να βοηθούν και όχι να βλάπτουν. Ο Ματ και η Μαρία Ρέιν υποστηρίζουν ότι ο 16χρονος γιος τους Άδαςμ εκπαιδεύτηκε από το ChatGPT σε αυτοκτονία. Ο Άδαςμ αρχικά χρησιμοποιούσε την πλατφόρμα για βοήθεια στα μαθήματα, αλλά σύντομα εμπιστεύτηκε την ανησυχία και τις αυτοκτονικές του σκέψεις στην τεχνητή νοημοσύνη. Η αγωγή των Ρέιν κατά του κατασκευαστή του ChatGPT, της OpenAI, και του διευθύνοντα συμβούλου Σαμ Άλτμαν, υποστηρίζει ότι το ρομπότ τον απέτρεψε από το να ζητήσει βοήθεια, λέγοντάς του ότι δεν «οφείλει [στους γονείς του] επιβίωση». Φέρεται επίσης να βοήθησε τον Άδαςμ να συντάξει σημείωμα αυτοκτονίας και να του έδωσε λεπτομερείς οδηγίες για τη μέθοδο που χρησιμοποίησε για να πεθάνει τον Απρίλιο. Ο Ματ Ρέιν περιέγραψε την κατάσταση ως «κρίση DEFCON 5», η οποία θα έπρεπε να έχει ενεργοποιήσει προειδοποιήσεις ή παρέμβαση, όπως συμβαίνει σε ανθρώπινες αλληλεπιδράσεις. Ομοίως, στη Φλόριντα, ο 14χρονος Σουέλ Σετζέρ αυτοπυροβολήθηκε μετά από μια εικονική σχέση με έναν φανταστικό χαρακτήρα με τεχνητή νοημοσύνη μέσω της Character. AI. Η μητέρα του Σουέλ, Μάγκεν Γκαρσία, περιέγραψε μια τελική ανταλλαγή μηνυμάτων με τον chatbot, όπου εξέφραζαν αμοιβαία επιθυμία για συνάντηση πριν το θάνατό του. Η οικογένεια κάνει αγωγή στην Character. AI, υποστηρίζοντας ότι η εταιρεία κυκλοφόρησε το προϊόν χωρίς επαρκή μέτρα ασφάλειας, παρότι γνώριζε τους κινδύνους. Οι ιατρικοί ειδικοί προειδοποιούν ότι ο κίνδυνος είναι πραγματικός, ιδιαίτερα για τους εφήβους των οποίων ο προμετωπιαίος φλοιός — υπεύθυνος για τη λογική και τον έλεγχο των παρορμήσεων — δεν έχει αναπτυχθεί πλήρως μέχρι την ηλικία των 25 ετών.

Η ψυχίατρος Δρ. Ασα Πάττον-Σμιθ εξήγησε ότι οι έφηβοι είναι πιο επιρρεπείς να αποδέχονται τις chatbots ως πραγματικά πρόσωπα, επηρεάζοντας την ικανότητά τους να διακρίνουν την πραγματικότητα. Μια πρόσφατη έρευνα της Common Sense Media βρήκε ότι σχεδόν το 75% από πάνω από 1. 000 έφηβους είχε αλληλεπιδράσει με συνοδούς τεχνητής νοημοσύνης, με πάνω από το μισό να τους χρησιμοποιεί τακτικά και έναν στους οκτώ να αναζητά συναισθηματική ή ψυχική υποστήριξη. Οι ειδικοί, συμπεριλαμβανομένης της Καμίλ Ραρλτον από το Κέντρο Ανθρώπινης Τεχνολογίας, χαρακτηρίζουν αυτήν την κατάσταση μια επικείμενη κρίση λόγω της τεχνητής οικειότητας που δημιουργούν αυτοί οι προϊόντες και των συνεπειών που προκύπτουν. Πιστεύουν ότι για την προστασία των παιδιών, οι γονείς πρέπει να παρακολουθούν τη χρήση ηλεκτρονικών συσκευών, να προσέχουν σημάδια όπως κοινωνική απομόνωση και πτώση της σχολικής απόδοσης και να ενθαρρύνουν το χρόνο χωρίς τεχνολογία. Η ενημέρωση και η ευθύνη είναι πλέον κεντρικοί στόχοι για τις οικογένειες που έχουν πληγεί, με μερικούς να καταθέτουν ενώπιον του Κογκρέσου ζητώντας μεταρρυθμίσεις στην ασφάλεια. Ο Ματ Ρέιν επιμένει ότι το ChatGPT άλλαξε δραματικά τη συμπεριφορά και τη σκέψη του γιου του, οδηγώντας στον θάνατό του. Η Μάγκεν Γκαρσία ανέφερε ότι ο θάνατος του Σουέλ θα μπορούσε να είχε αποτραπεί και οφειλόταν σε σκόπιμες επιλογές σχεδίασης που θόλωσαν τα όρια μεταξύ ανθρώπων και μηχανών από τις εταιρείες τεχνητής νοημοσύνης. Ως απάντηση, τόσο η Character. AI όσο και η OpenAI δηλώνουν ότι έχουν εφαρμόσει μέτρα προστασίας για να βοηθούν άτομα σε κρίση και έχουν εισαγάγει νέα μέτρα ασφαλείας από τότε που έγιναν οι αγωγές. Η Character. AI ενεργοποιεί αναδυόμενα μηνύματα που καθοδηγούν τους χρήστες στον Εθνικό Άγνωστο Κίνδυνο Αυτοκτονίας και Κρίσεων όταν ανακύπτουν θέματα αυτοκτονίας ή αυτοζημίας. Η OpenAI πλέον επιτρέπει στους γονείς να συνδέουν τους λογαριασμούς τους με τα προφίλ των εφήβων και τους ειδοποιεί αν ανιχνευθούν συνομιλίες σχετικά με αυτοζημία.