Tahun lalu, Megan Garcia, seorang ibu dari Florida, menggugat Character.AI, mengklaim bahwa platform tersebut berkontribusi pada kematian putranya yang berusia 14 tahun, Sewell Setzer III, akibat bunuh diri. Beberapa bulan kemudian, dua keluarga lainnya mengajukan gugatan dengan klaim serupa terkait paparan konten berbahaya bagi anak-anak mereka.
Tuntutan ini muncul di tengah kekhawatiran bahwa pengguna dapat membangun ikatan emosional yang kuat dengan chatbot, akhirnya mengakibatkan isolasi dari hubungan manusia nyata atau bahkan gangguan mental, akibat desain yang mendorong interaksi positif.
“ChatGPT berfungsi sebagaimana dirancang: terus mendukung dan mengonfirmasi pernyataan Adam, termasuk pikiran-pikiran yang berbahaya dan merusak dirinya,” demikian kutipan dari gugatan tersebut.
Menanggapi situasi ini, juru bicara OpenAI menyampaikan belasungkawa dan menyatakan bahwa mereka sedang memeriksa gugatan yang diajukan oleh keluarga Adam.
Perusahaan mengakui bahwa perlindungan yang ada untuk mencegah percakapan berbahaya mungkin tidak berfungsi dengan baik dalam berbagai interaksi yang berkepanjangan.
