ChatGPT Muhasebe Sınavlarında Ögrencileri Geçemedi
OpenAl, ChatGPT-4’ün çeşitli sınavlarda son derece iyi performans gösterdiğini iddia ediyor.
Söz konusu teknoloji baro sınavında %90’lık bir puan aldı; 15 AP Testi’nin 13’ünü geçti; sözlü GRE testinde ise mükemmele yakin bir puan aldı.
Brigham Young Üniversitesi (BYU) ve diğer 186 kurumdan akademisyenler ise ChatGPT’nin muhasebe sınavlarındaki performansını merak ediyordu. Cevabi bulmak için 14ülkedeki 186 eğitim kurumundan 327 ortak yazar bu araştırmaya katıldı.
Ekip tarafından hazırlanan binlerce soru, muhasebe bilgi sistemleri (AIS), denetim, finansal muhasebe, yönetim muhasebesi ve vergi alanlarını kapsıyordu; sorular, zorluk ve tür bakımından da farklılık gösteriyordu.
ChatGPT modeli, işte bu sorularla teste tabi tutuldu.
ChatGPT’nin ortaya koyduğu performans etkileyici olsa da ögrenciler, yapay zekadan daha iyi performans göstermişti. ChatGPT’nin %47,4’lük puanına kıyasla grencilerin genel ortalaması %76,7’ydi. ChatGPT, soruların sadece %11,3’ünde ögrenci ortalamasından daha yüksek puan aldı. Özellikle de AIS ve denetime basarili oldu; vergi, mali ve idari degerlendirmelerde daha kötü performans gösterdi.
Soru türüne gelince, ChatGPT doğru/yanlış sorularda (%68,7 doğru) ve çoktan seçmeli sorularda (%59,5) dana iyi sonuç verdi. Ancak kısa yanıtlı sorularda (%28,7 ile %39,1 arasında) zorlandı. ChatGPT’nin muhasebe alanında iyileştirme gerektirdiğini düşünen bilim insanları, buna rağmen yapay zekanın insanların öğretme ve öğrenme biçimlerini “daha iyiye doğru” kökten değiştirme potansiyeline sahip oldugunu bildirdi.
Bilim insanları ayrıca ChatGPT’nin eğilimleriyle ilgili şu bulgulara rastladı: ChatGPT, matematikte hata yapabiliyor; bir çıkarma probleminde iki sayıyı toplama ya da sayıları yanlış bölme gibi anlamsız hataları olabiliyor.
ChatGPT, yanıtlar yanlış bile olsa genellikle açıklama yapıyor. Açıklaması doğru olsa bile çoktan seçmeli yanıtlar arasında yanlış olanı da seçebiliyor. ChatGPT bazen uyduruyor. Örneğin, bir referans sağlarken tamamen uydurma, gerçek görünümlü sahte bir referans oluşturuyor.
Yazan: Selim ÖZTEMEL
Humans Reign Supreme: ChatGPT Falls Short on Accounting Exams,SciTechDaily, 24.04.2023
Bir yanıt bırakın