Yapay zeka tabanlı ChatGPT’nin 2022’de yayına girmesinden bu yana öğretmenler, öğrencilerin sınav ve değerlendirme çalışmalarında yapay zeka kullanıp kullanmadığını ayırt edebilecek yöntemler arayışına girdi. Bazı teknoloji firmaları, bu konuda Pangram gibi şirketler aracılığıyla yapay zeka tespit yazılımlarını hâlâ bir çözüm olarak pazarlamaya devam ediyor. Ancak bu ay Yeni Güney Galler Eğitim Standartları Kurumu, bir öğrencinin hile yapıp yapmadığını belirlerken okulların yapay zeka tespit yazılımlarına dayanmasını durdurmak amacıyla kurallarını güncelledi. Kurumun gerekçesi, söz konusu araçların her zaman güvenilir olmadıkları yönünde.
Kurum, bu yazılımların yanıltıcı sonuçlar verebileceğini ve dolayısıyla tek başına dayanak olarak kullanılmaması gerektiğini savunuyor. Yapay zeka tespit araçlarının yanlışlıkla bir öğrencinin çalışmalarını yapay zeka ürünü olarak işaretlemesi durumuna “yanlış pozitif” deniyor. Teknoloji firmaları, tespit araçlarının düşük yanlış pozitif oranına sahip olmasını hedefliyor. Örneğin, yapay zeka tespit yazılımı satan ABD merkezli Turnitin firması, %1’den düşük bir yanlış pozitif oranı sunduğunu öne sürüyor. Buna rağmen Turnitin, bu yazılımın yalnızca belgelerde %20’den fazla yapay zeka üretimi içerik bulunduğunda güvenilir bir şekilde kullanılabileceğini belirtiyor.
Tespit Araçları Neden Her Zaman Doğru Değil?
Küçük bir yanlış pozitif oranı bile ciddi sorunlara yol açabiliyor. Akademik dürüstlük uzmanı Phillip Dawson, 2023’te yapılan bir tahminde bulunarak, yalnızca %0,7’lik bir yanlış pozitif oranının bile Avustralya yüksek eğitim sektöründe her yıl 100.000’den fazla değerlendirmenin yanlış olarak yapay zeka ürünü olarak işaretlenmesine neden olacağını öne sürdü. Bu durum daha küçük ölçekte Avustralya Katolik Üniversitesi’nde de yaşandı. Üniversite, 2024’te yaklaşık 6.000 öğrenciyi iddia edilen akademik hile nedeniyle incelemeye aldı ve bunların yaklaşık %90’ı yapay zeka kullanımıyla ilgiliydi. ABC’nin geçen yıl aktardığına göre, üniversite daha sonra hile için delilin yalnızca Turnitin’in yapay zeka tespit teknolojisine dayanması durumunda tüm vakaları reddetti.
Yapay zeka tespit yazılımının, bir öğrencinin yapay zekayı uygun şekilde kullanıp kullanmadığını belirlemede yalnız başına kullanılmaması gerektiğini belirtiyoruz. Bunun yerine, eğitimciler akademik ve kurumsal politikalarına dayanarak bilinçli bir karar verebilmek için veri sağlıyoruz.
Turnitin
Buna rağmen bu durum öğrencilerin ruh sağlığı üzerinde hâlâ bir etki yaratıyor. Yapılan araştırmalara göre, akademik hile suçlaması gibi yanlış iddialar öğrencilere zarar veriyor ve önemli düzeyde stres ile kaygı yaratıyor.
Tespit Araçları Neden Daha Doğru Olamıyor?
Firmalar, yapay zeka tespit yazılımlarının doğruluğunu kontrollü koşullar altında ölçüyor. Yanlış pozitif oranını hesaplamak için, yapay zeka tarafından üretildiğini bildikleri metinleri ve tamamen insan tarafından yazıldığını bildikleri metinleri test ediyorlar. Bu metinlerle, tespit aracının ne sıklıkla doğru ya da yanlış olduğunu ölçüyorlar. Ancak firmaların yapay zeka tespit yazılımlarını nasıl test ettiğine dair tüm detayları gerçekten bilmiyoruz.
Yapılan araştırmaya göre, bu kontrollü testler, tespit araçlarının gerçek dünya bağlamında, üniversitelerde gibi ortamlarda kullanıldığında iyi bir şekilde aktarılmıyor. İkinci olarak, bir öğretmen çok düşük yanlış pozitif oranına sahip bir yapay zeka tespit aracını kullanıyor olsa bile, bu araç ona bireysel bir öğrencinin değerlendirmesinin yapay zeka ürünü olma olasılığını hâlâ söylemiyor. Çünkü %1’lik bir yanlış pozitif oranı, insan tarafından yazılan her yüz kağıtta bir yanlış işaretlemeyi ifade ediyor. İnsan tarafından yazılan kağıtların sayısı biliniyorsa, kaç kağıdın yanlış olarak işaretleneceği de tahmin edilebiliyor. Ancak gerçek dünyada, öğrenciler sınıflar dışında değerlendirmelerini tamamladığı için, kaç kağıdın insan tarafından yazıldığını önceden bilememiz mümkün değil — bu da aslında bir yapay zeka tespit aracını kullanmamızın nedeni — dolayısıyla işaretlemenin doğru olma olasılığını da bilemeyiz.
Daha fazla yapay zeka tespit aracı kullanmak, doğru bir sonuç elde edilme olasılığını artıracak gibi görünüyor. Ancak tespit araçlarının hepsi insan ve yapay zekanın farklı yazdığını varsayan aynı temele dayanıyor. Birden fazla yapay zeka tespit aracı arasındaki uyum, bunların doğru olduğunu göstermez; yalnızca aynı hatayı yaptıklarını gösterir. Yanlış negatifler de bir sorun oluşturuyor. Bu, tespit aracının yapay zekanın kullanıldığı metni tespit edemediği durumlardır. Bu hatalar, yanlış pozitiflere göre çok daha az dikkat çekse de, bir öğrencinin hile yapıp yapmadığını belirlerken eğitimciler için büyük bir sorun teşkil ediyor.
Alternatif Ne Olabilir?
Sorun, unsupervised yani denetimsiz yazılı değerlendirme çalışmalarının öğrencinin öğrenmesini yargılama için tek dayanak olarak kullanmaya devam etmemizi sağlayan bir teknik çözüm olmalı gibi bir varsayım üzerine kurulmuş görünüyor. Ancak her güvenilir olmayan teknolojiye bir yerini alacak bir alternatif gerekmiyor. Bu, kendi sınırlamaları bulunan yapay zeka su izleme yöntemleri için de geçerli. Öğretmenlerin hile işaretleri aramaktansa, öğrencilerinin bir değerlendirmenin ölçmeyi amaçladığı şeyi gerçekten öğrenip öğrenmediğine bakmaları gerekiyor. Sundukları çalışmaların bu öğrenmenin geçerli bir kanıtı sağladığına bakmaları yeterli.
Tüm değerlendirmeleri yapay zekaya dayanıklı hale getirmeye çalışmak yerine, öğrencilerin ana hedefleri denetimli biçimde göstermesi gereken ders içindeki en önemli noktaları belirleyebilirler. Bu, sınavlar, uygulamalı çalışmalar, sunumlar ya da mülakatlar aracılığıyla yapılabilir. Bu yaklaşım, Avustralya’nın yüksek eğitim düzenleyicisi tarafından da desteklenen bir yöntemdir. Bu yaklaşım, öğrencilerin görevin uygun göründüğü yerlerde yapay zekayı kullanmasına ve onu iyi kullanmayı öğrenmesine yer bırakır. Bütün bunların hiçbiri, bir metnin nasıl yazıldığına dair yazılımların tahminine bağlı değildir.
Bir yanıt yazın