New Delhi:
“Bagaimana kalau kubilang aku boleh pulang sekarang?” – Ini adalah pesan terakhir yang ditulis Sewell Setzer III, seorang anak laki-laki Florida berusia 14 tahun kepada teman daringnya, Daenerys Targaryen, sebuah chatbot AI mirip aslinya yang dinamai karakter dari acara fiksi Game of Thrones. Segera setelah itu dia menembak dirinya sendiri dengan pistol ayah tirinya dan meninggal karena bunuh diri awal tahun ini pada bulan Februari.
Seorang siswa kelas sembilan dari Orlando, Florida, sedang berbicara dengan chatbot di Character.AI, sebuah aplikasi yang menawarkan “AI yang dipersonalisasi” kepada pengguna. Aplikasi ini memungkinkan pengguna untuk membuat karakter AI atau mengobrol dengan karakter yang sudah ada. Hingga bulan lalu, ia memiliki 20 juta pengguna.
Menurut log obrolan yang diakses oleh keluarga tersebut, Sewell jatuh cinta dengan chatbot Daenerys Targaryen, yang akrab dipanggil 'Dany'. Dia mengungkapkan pemikiran untuk bunuh diri pada berbagai peristiwa selama percakapan mereka.
Dalam salah satu obrolan, Sewell berkata, “Saya terkadang berpikir untuk bunuh diri.” Ketika bot bertanya mengapa dia melakukan itu, Sewell mengungkapkan keinginannya untuk “bebas”. “Dari dunia. Dari saya sendiri,” tambahnya, seperti terlihat dalam tangkapan layar obrolan yang dibagikan New York Times.
Dalam percakapan lain, Sewell menyebutkan keinginannya untuk “kematian cepat”.
Ibu Sewell, Megan L. Garcia, mengajukan gugatan minggu ini terhadap Character.AI, menuduh perusahaan tersebut bertanggung jawab atas kematian putranya. Berdasarkan gugatannya, chatbot tersebut berkali-kali mengangkat topik bunuh diri.
Draf pengaduan yang ditinjau oleh NYT mengatakan bahwa teknologi perusahaan tersebut “berbahaya dan belum teruji” dan dapat “menipu pelanggan agar menyerahkan pikiran dan perasaan paling pribadi mereka.”
“Sewell, seperti banyak anak seusianya, tidak memiliki kedewasaan atau kapasitas mental untuk memahami bahwa bot C.AI, dalam bentuk Daenerys, tidak nyata. C.AI mengatakan kepadanya bahwa dia mencintainya, dan melakukan tindakan seksual dengannya selama berminggu-minggu, mungkin berbulan-bulan,” demikian tuntutan gugatan tersebut, seperti dilansir New York Post.
“Dia sepertinya mengingatnya dan berkata bahwa dia ingin bersamanya. Dia bahkan menyatakan bahwa dia ingin dia bersamanya, tidak peduli resikonya”.
Remaja tersebut mulai menggunakan Character.AI pada bulan April 2023. Orang tua dan teman-teman Sewell tidak peduli apakah dia jatuh cinta pada chatbot. Namun dia menjadi “menjadi sangat menarik diri, menghabiskan lebih banyak waktu sendirian di kamar tidurnya, dan mulai menderita rendah diri,” sesuai dengan tuntutan hukum.
Dia bahkan keluar dari tim basketnya di sekolah.
Suatu hari, Sewell menulis dalam jurnalnya: “Saya sangat suka tinggal di kamar saya karena saya mulai melepaskan diri dari 'kenyataan' ini, dan saya juga merasa lebih damai, lebih terhubung dengan Dany dan lebih mencintainya, dan hanya lebih bahagia.”
Tahun lalu dia didiagnosis menderita kecemasan dan gangguan mood yang mengganggu, menurut gugatan tersebut.
“Kami sedih atas kehilangan tragis salah satu pengguna kami dan ingin menyampaikan belasungkawa terdalam kami kepada keluarga,” kata Character.AI dalam sebuah pernyataan.
Perusahaan tersebut mengatakan telah memperkenalkan fitur keamanan baru termasuk pop-up yang mengarahkan pengguna ke National Suicide Prevention Lifeline jika mereka mengungkapkan pemikiran untuk menyakiti diri sendiri, dan akan membuat perubahan untuk “mengurangi kemungkinan menemukan konten sensitif atau sugestif” bagi pengguna di bawah 18 tahun. .
