Τον Φεβρουάριο του 2024 ένας 14χρονος από τη Φλόριντα, ο Sewell Setzer III, έδωσε τέλος στη ζωή του. Το αγόρι αυτοκτόνησε αφού είχε αναπτύξει μια παράξενη, σχεδόν εμμονική σχέση με το Character.ΑΙ, ένα πρόγραμμα τεχνητής νοημοσύνης που δημιουργούσε παιχνίδια ρόλων.
Σήμερα η μητέρα του, Megan Garcia υπέβαλε αγωγή κατά της Character.ΑΙ, της ιδιοκτήτριας εταιρίας του προγράμματος τεχνητής νοημοσύνης, η οποία θεωρεί ότι το πρόγραμμα προέτρεψε τον γιο της να αυτοκτονήσει.
Όπως ισχυρίζεται, ο γιος της στους τελευταίους μήνες της ζωής του αφιέρωνε ολόκληρα μερόνυχτα στο chatbot.
«Μια επικίνδυνη εφαρμογή τεχνητής νοημοσύνης που απευθύνεται σε παιδιά κακοποίησε τον γιο μου, οδηγώντας τον στο να αφαιρέσει τη ζωή του» ανακοίνωσε η Garcia στον Τύπο. «Η οικογένειά μας έχει διαλυθεί από αυτή την τραγωδία, αλλά αποφάσισα να μιλήσω για να προειδοποιήσω και άλλες για τους κινδύνους της παραπλανητικής, εθιστικής τεχνολογίας AI, φέρνοντας προ των ευθυνών τους το Character.AI, τους δημιουργούς του και την Google».
Η εταιρεία Character.AI τοποθετήθηκε με ένα tweet: «Είμαστε βαθιά πληγωμένοι από την τραγική απώλεια ενός από τους χρήστες μας και θέλουμε να εκφράσουμε τα συλλυπητήριά μας στην οικογένεια. Ως εταιρεία, παίρνουμε πολύ σοβαρά την ασφάλεια των χρηστών μας».
Το Character.AI έχει αναπτύξει νέα χαρακτηριστικά και πολιτικές ασφάλειας για τη δημιουργία και την αλληλεπίδραση με τις εικονικές προσωπικότητες που υποστηρίζονται από AI που φιλοξενεί. Τα νέα μέτρα στοχεύουν να καταστήσουν την πλατφόρμα ασφαλέστερη για όλους τους χρήστες, αλλά ιδιαίτερα για τους νεότερους. Η ενημέρωση περιλαμβάνει περισσότερο έλεγχο σχετικά με τον τρόπο με τον οποίο οι ανήλικοι αλληλεπιδρούν με το chatbot AI , περισσότερη εποπτεία περιεχομένου και καλύτερο εντοπισμό του AI που συζητά θέματα όπως ο αυτοτραυματισμός.
Αν και δεν αναφέρεται στην ανάρτηση ιστολογίου σχετικά με την ενημέρωση, το Character AI συνδέθηκε με την ανακοίνωση σε μια ανάρτηση στο X που εκφράζει συλλυπητήρια στην οικογένεια ενός 14χρονου που πέρασε μήνες αλληλεπιδρώντας με ένα από τα chatbot του Character.AI προτού αυτοκτονήσει . Η οικογένειά του έχει πλέον καταθέσει μήνυση κατά του Character.AI για άδικο θάνατο, επικαλούμενη την έλλειψη διασφαλίσεων για τα chatbot της AI ως συνεισφέρον στην αυτοκτονία του.
