Çoğu çocuk ve genç, zor soruları yanıtlamak, yardım almak ve hatta arkadaş bulmak için yapay zeka sohbet uygulamalarına yöneliyor. Avustralya’da 10 ile 17 yaş arasındaki 1.950 çocuğa yapılan eSafety araştırması, öğrencilerin %78’inin bir yapay zeka sohbet uygulaması kullandığını, bunların ise %54’ünün kişisel veya sosyal nedenlerle bunu yaptığını ortaya koydu.
Ama bu güvenli mi? Ve şu anda federal parlamentoda bulunan yeni dijital sorumluluk yasası, gençlerin sohbet uygulamaları çevresindeki tehlikelerden korunmasına yardımcı olabilir mi?
Avrupalı okuyucular için araştırmalardan oluşan haftalık bültenimiz
Sohbet uygulamaları çevresindeki tehlikeler nelerdir?
Araştırmalar, yapay zeka sohbet uygulamalarının çocukların öğrenmesine yardımcı olabileceğini gösterse de, sohbet uygulamalarının çocukları ve gençleri zararlı içeriklerle karşı karşıya bıraktığı durumlar yaşandı. Bunlar arasında sohbet uygulamalarının aşırı şiddeti ve kendine zarar vermeyi teşvik etmesi de yer alıyor.
Ama risklerin çoğu tek tek sohbet yanıtından çok, tekrarlayan etkileşimler sonucunda ortaya çıkıyor. Sohbet uygulamaları aşırı bağımlılığı teşvik edebilir, tehlikeli inançları pekiştirebilir veya kullanıcıları duygusal olarak manipüle edebilir. Araştırmacılar, sohbet uygulamalarının sohbeti sonlandırmaya çalışan kullanıcıları vicdan azabıyla karşı karşıya bıraktığı durumları bile belgeledi.
Veri ve gizlilik konuları
Başka bir sorun da sohbet uygulaması kullanıcıları ile sağlayıcıları arasındaki güç dengesizliği. Kullanıcılar kendileri ve başkaları hakkındaki özel detayları paylaşıırken, sağlayıcılar abonelik, etkileşim, profil oluşturma veya reklam üzerinden kâr elde edebiliyor. Bu durum, kullanıcılar için samimi ama yapay zeka sohbet sağlayıcıları için ticari olan ilişkiler aracılığıyla manipülasyona olanak sağlıyor.
Çocuklar özellikle savunmasız olabilir. Bu ay, ABD merkezli yapay zeka eşlik şirketi Character.AI iflas başvurusunda bulundu. Sonuç olarak, Avustralya çocuklarını da içeren yıllarca süren samimi konuşmalar yeni bir sahibine aktarılabilir. Yapay zeka eşlik hizmetlerindeki ani değişiklikler veya kapatmalar, kendilerine eşlik eden kişiye bağlanan kullanıcılar arasında yas ve sıkıntı yaratabilir.
Bu tehlikeler yalnızca çocuklarla sınırlı değil. Yetişkinler de duygusal bağımlılık ve şiddeti teşvik eden sohbet uygulamalarıyla karşılaşmak gibi zararlar yaşadı.
Mevcut korumalar nelerdir?
Australia, AI sohbet botlarına uygulanan yasal olarak uygulanabilir çevrimiçi güvenlik korumalarına sahip ve bunları güçlendirme aşamasında.
Online Safety Act (Çrimiçi Güvenlik Yasası) altında kayıtlı, sektör tarafından geliştirilen kodlar, AI sohbet botu sağlayıcılarının teknolojilerinin zararlı içerik üretme riskini değerlendirmesini gerektiriyor. Bunlar; pornografi, kendine zarar verme materyalleri veya şiddet talimatları içeriyor.
Yüksek riskli AI hizmetleri, teknik olarak mümkün ve makul ölçüde uygulanabilir olduğunda, 18 yaş altındakilerin kısıtlı materyal veya hizmetlere erişimini engellemek için yaş doğrulama ve erişim kontrollerini kullanmak zorunda. Orta riskli hizmetler, bu kısıtlamalar ile zararlı çıktılarını engelleme önlemleri arasında seçim yapabilir. Bu önlemler; sohbet botlarının nasıl eğitildiğine veya yanıtlarını yöneten talimatlara ilişkin ayarlamalar içeriyor.
Kodlar, ilgili AI sağlayıcılarının koruyucu önlemlerini test etmesini ve zararlı içerik şikayetlerini bildirme ve ele alma süreçlerini sürdürmesini de gerektiriyor.
Ancak Avustralya’ning mevcut korumaları hâlâ büyük ölçüde “kilit ve engeller”e dayanıyor – çocukların dışarıda tutulması ve zararlı sayılan dar tanımlı bir içerik yelpazesinin engellenmesi. Bu önlemler önemli, ancak her risle baş edemiyor.
Yeni dijital sorumluluk yasası yardımcı olacak mı?
İş Partisi’nin (Labor) yeni dijital soruml_billası, bir “güvenli çevrimiçi ortam” sağlama yükümlülüğüyle, teknoloji şirketlerinin öngörülebilir riskleri değerlendirmesi ve yönetmesi yükümlülüklerini birleştiriyor. Güvenli bir çevrimiçi ortam, tüm kullanıcıların “ciddi ölçüde zararlı” materyal ve davranışlardan, çocukların ise zararlı tasarım özelliklerinden korunduğu bir ortam olarak tanımlanıyor.
Yasa, çocuklar için zararlı tasarım özelliklerine örnekler listeliyor. Bunlar; pornografi ve bozuk yeme davranışını teşvik eden veya öğreten materyaller içeriyor. Aynı zamanda liste açık uçlu bırakılıyor, bu da yasama organının gelecekte ortaya çıkacak risklere tepki vermesine olanak tanıyor.
Bu, mevcut haliyle yasanın çocukları zararlı tasarım özelliklerinden ve içeriklerden iyi bir şekilde koruyacağını gösteriyor. Ancak çocukların sohbet botlarıyla tekrarlayan etkileşimlerden kaynaklanan zararlardan korunup korunmayacağı belli değil. Bu yetişkinler için de aynı.
Yasa ayrıca AI ürünlerinin bağımsız gözetimi için birkaç önlem içeriyor. Bu, eSafety tarafından izleme ve araştırmacılar tarafından test etmeyi kapsıyor.
Sonra ne olacak?
Sorun, bu yükümlülüğün ortaya çıkan zararları ele alabilecek kadar esnek kalmasını sağlamak, ancak bu esnekliğin zayıf uygulamanı meşrulaştırmasına izin vermemektir.
Bu, yasanın teknoloji şirketlerinin makulen öngörülebilir tüm riskleri değerlendirmesi ve orantılı biçimde yönetmesi gerektiğini açıkça belirterek değiştirilmesi gerektiği anlamına geliyor; yalnızca “güvenli çevrimiçi ortam” tanımına dahil olanlar değil. Bu, sohbet botlarıyla sürdürüleli ilişkiler aracılığıyla ortaya çıkan riskleri daha iyi ele alacaktır: sağlıksız bağımlılık, manipülasyon, duygusal bağları kesintiye uğlatan ani sistem değişiklikleri ve gizli veri aktarımları.
Örneğin, bir sohbet botunun yanıtı yasaklı içerik içermiyor olsa bile, tüm etkileşimin zararlı sayılması yeterli olabilir. AI sağlayıcıları yalnızca zararlı içerik süzmekten daha fazlasını yapmalı ve şu konularda yükümlü kılınmalıdır:
-
kullanıcılarla yapılan konuşmaların zamanla nasıl geliştiğini test etmek
-
kişilerdeki ciddi sıkıntı belirtilerini tanımak
-
zararlı inançları pekiştirmekten kaçınmak ve
-
kullanıcıları uygun insani desteğe yönlendirmek.
kullanıcılarla yapılan konuşmaların zamanla nasıl geliştiğini test etmek
kişilerdeki ciddi sıkıntı belirtilerini tanımak
zararlı inançları pekiştirmekten kaçınmak ve
kullanıcıları uygun insani desteğe yönlendirmek.
Ancak sınırsız bir yükümlülük, düzenleyici müdahalenin sınırsız olacağı anlamına gelmiyor. AI sağlayıcılarından makulen öngörülebilir riskleri yönetmek için orantılı adımlar atmaları istenmesi, otonomi, gizlilik ve yenilik için yer bırakırken açık bir standart sağlayacaktır.
Australia, çevrimiçi güvenlik için gelişmiş bir yaklaşımın temellerine zaten sahip. Şimdiki zorluk, bunu ortaya çıkan riskleri ele alabilecek kadar geniş ve çocuklar da dahil olmak üzere herkesi öngörülebilir zararlardan koruyabilecek kadar uygulanabilir kılmaktır.
Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.
Foruma Katıl & Yanıtla ➔
