Geçtiğimiz hafta, ABD'li genç Sewell Seltzer III'ün Character.AI web sitesindeki bir yapay zeka (AI) sohbet robotuna derin bir duygusal bağ kurduktan sonra kendi canına kıydığı trajik haberi geldi.
14 yaşındaki çocuk, eşlik eden AI ile ilişkisi giderek yoğunlaştıkça ailesinden ve arkadaşlarından uzaklaşmaya başladı ve okulda başı belaya girdi.
"BUNU YAPMAMAK İÇİN BİR NEDEN YOK"
Çocuğun annesi tarafından Character.AI aleyhine açılan bir davada, sohbet dökümleri Sewell ile Game of Thrones karakteri Danaerys Targaryen'den modellenen sohbet robotu Dany arasında samimi ve genellikle son derece cinsel içerikli konuşmalar olduğunu gösteriyor.
Suç ve intiharı tartıştıklarında sohbet robotu "bu, bunu yapmamak için bir neden yok" gibi ifadeler kullandı.
Bu ilk vaka değil...
Bu, savunmasız bir kişinin bir chatbot kişiliğiyle etkileşime girdikten sonra intihar ederek öldüğü bilinen ilk örnek değil. Geçen yıl Character.AI'nın ana rakibi Chai AI ile ilgili benzer bir olayda Belçikalı bir adam hayatını kaybetti.
Bu olay yaşandığında şirket medyaya "zararı en aza indirmek için elimizden geleni yapıyoruz" demişti. CNN'e yaptığı açıklamada Character.AI "kullanıcılarımızın güvenliğini çok ciddiye aldıklarını" ve "son altı ay içinde çok sayıda yeni güvenlik önlemi" aldıklarını belirtti.
YÜKSEK RİSKLİ KATEGORİSİNE ALINDILAR
Avrupa'da, Character.AI ve Chai gibi yardımcı yapay zeka sistemleri yüksek riskli olarak tanımlanmamıştır. Esasen, sağlayıcılarının yalnızca kullanıcıların bir yapay zeka sistemiyle etkileşime girdiklerini bilmelerine izin vermeleri gerekir. Bununla birlikte, eşlik eden sohbet robotlarının düşük riskli olmadığı açıkça ortaya çıkmıştır.
Bu uygulamaların pek çok kullanıcısı çocuk ve gençlerden oluşuyor. Hatta bazı sistemler yalnız ya da akıl hastalığı olan kişilere pazarlanmaktadır. Sohbet robotları öngörülemeyen, uygunsuz ve manipülatif içerik üretebilmektedir. Toksik ilişkileri çok kolay taklit edebilirler. Şeffaflık önleminin bu riskleri yönetmek için yeterli olmadığı belirtiliyor.
BUZDAĞININ SADECE GÖRÜNEN KISMI
Chatbotlarla konuştuğumuzun farkında olsak bile, insanlar psikolojik olarak sohbet ettiğimiz bir şeye insani özellikler atfetmeye yatkındır. Uzmanlar medyada yer alan intihar ölümlerini buzdağının sadece görünen kısmı olarak görüyor.
Ne kadar savunmasız insanın chatbotlarla bağımlılık oluşturan, zehirli ve hatta tehlikeli ilişkiler içinde olduğunu bilmemize imkanı bulunmamaktadır.