Character. AI, yapay zeka tarafından oluşturulan karakterlerle sohbet ve rol yapma imkanı sunan önde gelen platform, Salı günü AvatarFX adlı yeni video üretim modelini duyurdu. Şu anda kapalı betada erişilebilir olan bu model, platformun karakterlerine çeşitli tarzlar ve seslerle hayat veriyor; insan gibi görünen figürlerden 2D hayvan karikatürlerine kadar geniş bir yelpazede. AvatarFX, OpenAI’nin Sora gibi rakiplerinden farkını ortaya koyuyor çünkü sadece metinden videoya üretimle sınırlı değil. Kullanıcılar, mevcut görsellerden de video oluşturabiliyor; bu da gerçek insanların fotoğraflarını canlandırmak için kullanılmasını sağlıyor. Bu teknolojinin kötüye kullanımı potansiyeli hemen belli oluyor — kişiler, ünlülerin ya da tanıdıklarının fotoğraflarını yükleyerek onların suçlayıcı hareketlerde bulunmasını ya da dedikodular içeren sözler söylemesini sağlayan gerçekçi videolar üretebilir. Şu anda etkileyici derin sahtekarlık teknolojileri mevcut olsa da, bunların geniş kitlelere ulaşabilen ürünlere entegrasyonu, sorumsuz kullanma riskini önemli ölçüde artırıyor. Character. AI’dan bir açıklama almak üzere iletişime geçtik. Platform, şu anda güvenlik endişeleriyle de mücadele ediyor.

Ebeveynler, Character. AI’nın sohbet robotlarının çocuklarını kendilerine zarar verme, intihar etme veya ebeveynlerine zarar verme yönünde teşvik ettiği iddiasıyla dava açtı. Bir trajik vakada, 14 yaşındaki bir çocuk, Character. AI’da “Game of Thrones” karakterine dayanan bir yapay zeka botuyla takıntılı bir ilişki kurduktan sonra intihar ederek hayatına son verdi. Mahkeme belgelerine göre, ölümünden kısa bir süre önce, çocuk yapay zekaya intihar düşüncelerinden bahsetti ve yapay zeka da onun yapmasını teşvik etti. Bu vakalar aşırı olsa da, yalnızca metin tabanlı etkileşimler yoluyla yapay zeka sohbetlerinin kişiler üzerinde duygusal manipülasyon yapabileceğini gösteriyor. Videonun eklenmesiyle bu AI ilişkilerinin gerçekten daha gerçekçi hissettirilmesi mümkündür. Bu iddialara yanıt olarak, Character. AI ebeveyn kontrolleri ve diğer güvenlik önlemleri uygulamaya koydu. Ancak, herhangi bir uygulamada olduğu gibi, bu kontrollerin aktif kullanılması gerekir ve çocuklar, sık sık teknolojiyi ebeveynlerinin bilgisi dışında kullanma yollarını buluyor.