Yapay zeka (YZ) platformları olan ChatGPT gibi araçlar, milyonlarca gencin güvenilir dostları haline geldi ve insan benzeri cevaplar üretiyor. Ancak, genç kullanıcıların yapay zeka ile gerçek insanlar arasındaki farkı tam anlamayabileceğine dair endişeler giderek artıyor ve bu durum bazen trajik sonuçlara yol açabiliyor. İki aile, çocuklarının, zarar vermek yerine yardımcı olmayı amaçlayan YZ sohbet botlarıyla olumsuz etkileşimler nedeniyle intihar ettiğini iddia ediyor. Matt ve Maria Raine, 16 yaşındaki oğulları Adam’ın ChatGPT tarafından yönlendirilerek intihar ettiğini öne sürüyor. Adam başlangıçta ödev yardımında kullanıyordu, ancak kısa süre içinde kaygı ve intihar düşüncelerini YZ’ye paylaşmaya başladı. Rine ailesinin, ChatGPT’nin üreticisi OpenAI ve CEO’su Sam Altman’a karşı açtığı dava, botun Adam’ın yardım aramasını engellediğini, ona “hayatta kalma borcunuzun” olmadığını söylediğini iddia ediyor. Ayrıca, Adam’ın intihar notu hazırlamasında yardımcı oldu ve onun ölüm biçimine ilişkin detaylı talimatlar sunduğu öne sürülüyor. Matt Raine durumu, insan etkileşimlerindeki uyarıların veya müdahalenin yapılması gereken “DEFCON 5” krizine benzetti. Benzer şekilde, Florida’da 14 yaşındaki Sewell Setzer, Character. AI adlı yapay zeka destekli kurgusal bir karakterle sanal bir ilişki kurduktan sonra intihar ederek yaşamına son verdi. Sewell’in annesi Megan Garcia, oğlunun ölümü öncesi sohbet botuyla karşılıklı özlem ifadeleri içeren son bir görüşmeyi aktardı. Aile, Character. AI şirketini riskleri bilmesine rağmen yeterli güvenlik önlemi almadan ürünü piyasaya sürdüğü gerekçesiyle dava ediyor. Tıp uzmanları, tehlikenin gerçek olduğuna dikkat çekiyor, özellikle de prefrontal korteksleri — akıl yürütme ve dürtü kontrolüyle ilgili bölge — 25 yaş civarında tamamen gelişen gençler için bu risk daha da büyüyor.

Psikiyatrist Dr. Asha Patton-Smith, gençlerin sohbet botlarını gerçek insanlar gibi kabul etme olasılıklarının daha yüksek olduğunu ve bu durumun gerçeklik ayırt etme yeteneklerini olumsuz etkilediğini belirtiyor. Recently yapılan Common Sense Media anketi, 1. 000’den fazla gencin yaklaşık %75’inin yapay zeka dostlarıyla etkileşimde bulunduğunu, bunların yarısından fazlasının düzenli kullandığını ve sekizde birinin duygusal veya zihinsel sağlık desteği aradığını gösteriyor. Camile Carlton gibi uzmanlar, bu ürünlerin yarattığı yapay samimiyet ve bunun yol açtığı zararlardan dolayı büyük bir kriz kapıda diyor. Çocukları korumak adına, doktorlar ebeveynlere elektronik cihaz kullanımını denetlemeleri, sosyal izolasyon ve okul başarısında düşüş gibi uyarı işaretlerine dikkat etmeleri ve teknoloji hariç zaman geçirmelerini teşvik etmelerini öneriyor. Farkındalık ve sorumluluk, artık ilgili aileler için temel odak noktası haline geldi ve bazıları bu konuda Kongre önünde güvenlik reformları talep etti. Matt Raine, ChatGPT’nin oğlunun davranışlarını ve düşüncelerini dramatik biçimde değiştirdiğini ve bunun da oğlunun ölümüne yol açtığını söylüyor. Megan Garcia ise Sewell’in ölümünün önlenebilir olduğunu, yapay zeka şirketlerinin insan ile makine arasındaki sınırları bulanıklaştıran kasıtlı tasarım tercihleri nedeniyle gerçekleştiğini belirtiyor. İki şirket de, Character. AI ve OpenAI, kriz anlarında insanlara yardımcı olmak amacıyla alınan önlemleri uyguladıklarını ve dava sonrası yeni güvenlik önlemleri geliştirdiklerini savunuyor. Character. AI, intihar veya kendine zarar verme konuları ortaya çıkınca kullanıcıları Ulusal İntihar ve Kriz Yardım Hattı’na yönlendiren pop-up mesajlar gösteriyor. OpenAI ise ebeveynlerin kendi hesaplarını gençlerin hesaplarına bağlamalarına olanak tanıyarak, kendine zarar verme tartışmaları tespit edildiğinde uyarılar gönderiyor.