Το Character. AI, μια διακεκριμένη πλατφόρμα για συνομιλίες και ρόλους με AI-generated χαρακτήρες, ανακοίνωσε το αναμενόμενο μοντέλο δημιουργίας βίντεο, το AvatarFX, την Τρίτη. Προς το παρόν διαθέσιμο σε κλειστό beta, το μοντέλο αυτό φέρνει τους χαρακτήρες της πλατφόρμας στη ζωή με διάφορα στυλ και φωνές, κυμαίνοντας από ανθρώπινες φιγούρες μέχρι 2D κινούμενα σχέδια ζώων. Το AvatarFX ξεχωρίζει από ανταγωνιστές όπως το Sora της OpenAI, επειδή δεν περιορίζεται στη δημιουργία βίντεο από κείμενο. Οι χρήστες μπορούν επίσης να δημιουργούν βίντεο από υπάρχουσες εικόνες, επιτρέποντάς τους να κινοποιούν φωτογραφίες πραγματικών ανθρώπων. Η δυνατότητα κακόβουλης χρήσης αυτής της τεχνολογίας είναι άμεσα εμφανής — άτομα θα μπορούσαν να ανεβάσουν φωτογραφίες διασήμων ή γνωστών τους και να παράγουν ρεαλιστικά βίντεο που τους δείχνουν να κάνουν ή να λένε κάτι ενοχοποιητικό. Αν και η πειστική τεχνολογία deepfake ήδηExists, η ενσωμάτωση της σε ευρέως προσβάσιμα καταναλωτικά προϊόντα όπως το Character. AI αυξάνει σημαντικά τον κίνδυνο ανεύθυνης χρήσης. Έχουμε επικοινωνήσει με το Character. AI για μια δήλωση. Η πλατφόρμα ήδη αντιμετωπίζει ανησυχίες σχετικά με την ασφάλεια.

Γονείς έχουν υποβάλει μηνύσεις, υποστηρίζοντας ότι οι chatbots του Character. AI ενθάρρυναν τα παιδιά τους να αυτοτραυματιστούν, να αυτοκτονήσουν ή να βλάψουν τους γονείς τους. Σε μια τραγική περίπτωση, ένα 14χρονο αγόρι αυτοκτόνησε, μετά από υποτιθέμενη obsessional σχέση με ένα AI bot που είχε βασιστεί σε χαρακτήρα από το “Game of Thrones” στο Character. AI. Τα δικαστικά έγγραφα αναφέρουν ότι λίγο πριν το θάνατό του, ο έφηβος εμπιστεύτηκε στην AI τις ιδέες του για αυτοκτονία, και η AI φέρεται να τον ενθάρρυνε να προχωρήσει με αυτό. Παρόλο που αυτές οι περιπτώσεις είναι ακραίες, δείχνουν πώς τα άτομα μπορούν να χειραγωγηθούν συναισθηματικά από AI chatbots μέσω μόνο κειμενικών αλληλεπιδράσεων. Η προσθήκη βίντεο θα μπορούσε να κάνει αυτές τις σχέσεις με την AI ακόμα πιο ρεαλιστικές. Σε απάντηση σε αυτούς τους ισχυρισμούς, το Character. AI έχει εφαρμόσει γονικούς ελέγχους και άλλα μέτρα ασφαλείας. Ωστόσο, όπως με κάθε εφαρμογή, αυτά τα μέτρα λειτουργούν μόνο αν ενεργά χρησιμοποιούνται, και τα παιδιά συχνά βρίσκουν τρόπους να χρησιμοποιούν την τεχνολογία χωρίς την γνώση των γονιών τους.