Bir çalışan zor bir müşteri görüşmesini yapay zekayla prova ediyor. Görüşme bitince ekranda üç sayı çıkıyor: empati 82, problem çözme 76, stres yönetimi 88. Sayılar net ve kesin görünüyor.
Bu yazıdaki 82 temsili bir sayı. Gerçek bir kullanıcıya ya da bir araştırmaya ait değil. Onu seçtik, çünkü 82 gibi bir sayı "iyi" kelimesinden ya da yuvarlak bir 80'den daha ölçülmüş hissettirir. Bir eğitim yöneticisinin satın almadan önce sorması gereken soru da burada başlar: bu sayıyı ne taşıyor?
EVRE'de bu soruyla her gün çalışıyoruz. Aşağıda ölçme literatürünün ne dediğini ve puanı kararlı tutmak için kendi ürünümüzde ne yaptığımızı anlatıyoruz.
Önce ölçütü yazın
"Empatiyi ölçüyoruz" cümlesi ölçüme başlamak için fazla geniş. Empati derken karşı tarafın endişesini doğru özetlemek mi kastediliyor? Duyguyu adlandırmak mı? Çözüm önermeden önce ihtiyacı netleştirmek mi?
Ölçülebilen şey bu davranışların her biri, tek tek. EVRE'de bir ölçüt, konuşmanın içinde cevabı aranabilecek yazılı bir sorudur. Bir müşteri görüşmesi için örnek:
- Karşı tarafın asıl endişesini kendi sözleriyle özetledi mi?
- Duygusal tepkiyi geçiştirmeden adlandırdı mı?
- Çözüm önermeden önce ihtiyacı netleştirdi mi?
- Yetkisi dışında bir söz vermekten kaçındı mı?
Empati 82 bu soruların cevaplarından türeyen ikinci katmandır. Ölçme standartları da aynı sırayı ister. Amerikan eğitim ve psikoloji derneklerinin ortak standartlarına göre geçerlik, puandan yapılan yorumun ve o yorumun kullanım amacının kanıtla desteklenmesidir [1]. Yazılı bir ölçüt olmadan bu kanıt kurulamaz.
LLM tabanlı değerlendirme araştırmaları da bu yöne gidiyor. ACL 2024'te yayımlanan LLM-Rubric çalışması, modelden tek bir genel yargı istemek yerine değerlendirmeyi birkaç açık soruya bölüyor ve modelin cevaplarını insan puanlayıcılarla kalibre ediyor [4].
Her sonucun yanında bir cümle
Bir rapor "kullanıcı görüşme boyunca empatik davrandı" diyorsa ilk soru şudur: hangi cümlede?
EVRE'de her bulgu onu doğuran cümleyle birlikte gelir. "Endişeyi adlandırdı" sonucu kişinin söylediği cümleyi gösterir. "Yetki sınırını aştı" sonucu verilen sözü gösterir. Raporu okuyan kişi sonucu kendisi kontrol edebilir. Model yanıldığında hatanın yeri de görünür.
ABD Ulusal Standartlar ve Teknoloji Enstitüsü'nün (NIST) yapay zeka risk çerçevesi, güvenilir yapay zekayı yalnız doğrulukla tanımlamaz. Geçerlik ve güvenilirliğin yanında açıklanabilirlik, şeffaflık ve hesap verebilirliği de sayar [2]. Bir davranış puanı için bunun karşılığı basit: puandan geriye, konuşmaya giden bir iz olmalı.
Aynı konuşmayı iki kez okumak
Bir ölçüm, aynı performansa iki kez bakıldığında yakın sonuç vermeli. Ölçme standartları bunu güvenilirlik başlığında ele alır. Puanlayıcının değişmesi, ölçümün tekrarlanması ve uygulama koşulları puanı etkiler [1].
Yapay zeka hakemlerde bu etkilerin bilinen kaynakları var. NeurIPS 2023'te yayımlanan MT-Bench çalışmasında güçlü bir LLM hakem, insan tercihleriyle %80'in üzerinde uyuştu. Bu, insanların kendi aralarındaki uyumla aynı düzey. Aynı çalışma üç sistematik eğilim de buldu: cevapların sırasından etkilenmek, uzun cevabı ödüllendirmek ve modelin kendi yazdığına benzeyen metni kayırmak [5].
İkinci eğilim davranış ölçümünde özellikle önemli. Uzun konuşan biri, sırf uzun konuştuğu için daha iyi iletişim kurmuş sayılmamalı. Kısa ve doğru bir yatıştırma cümlesi, uzun ve kibar görünen bir paragrafın gerisinde kalmamalı.
EVRE'de puanın kararlı kalması için üç şey yapıyoruz:
- Ölçüm ayarları sabittir. Ölçümü yapan modelin ayarları ürün kodunda sabitlenmiştir ve bir testle korunur. Bir senaryo, kendisini ölçen aleti değiştiremez.
- Her sonuç kimliğiyle saklanır. Sonuç, onu üreten senaryo sürümü, motor kuşağı, model rolü ve değerlendirme koşusuyla birlikte kaydedilir. Ölçüt değiştiğinde eski sonuçlar kendi sürümüyle okunmaya devam eder.
- Konuşmayı birden fazla okuyucu okur. Seans sonu değerlendirmesinde üç uzman okuyucu konuşmaya ayrı açılardan bakar. Dördüncüsü bulguları birleştirir.
Senaryoları canlıya almadan önce yapay zeka katılımcılarla tekrar tekrar konuşturuyoruz. Ölçümün aynı davranışa aynı tepkiyi verip vermediğini, modelin yargısına bırakmadan, kod düzeyindeki kontrollerle izliyoruz.
İnsan puanlayıcılar da ayrışır
Bir yapay zeka değerlendiriciyi sınamanın en makul yolu, aynı konuşmaları alan uzmanlarına da puanlatmaktır. Uzmanlar aynı ölçütle ve birbirinden habersiz puan verir. Sonra yalnız ortalamaya değil, nerede uyuşup nerede ayrıştıklarına bakılır.
Burada insan puanını kusursuz bir cevap anahtarı saymak yanıltır. LLM-Rubric çalışması insanların da birbirleriyle tam uyuşmadığını gösteriyor [4]. ACL 2025'te yayımlanan JUDGE-BENCH çalışması 11 modeli, insan etiketli 20 değerlendirme veri setinde karşılaştırdı. Başarı hem modele hem göreve göre belirgin biçimde değişti [6]. Bir işte iyi çalışan hakem, başka bir işte aynı güveni vermeyebilir.
Bu yüzden kalibrasyonda insanla model arasındaki farkı bir sıralama tablosu gibi okumuyoruz. Kalibrasyon setimizi bilerek zor vakalardan kuruyoruz: kanıtın konuşmanın farklı yerlerinde çeliştiği, davranışın kısmen gösterildiği anlar. Ayrışmayı ölçüte, konuşmanın hangi bölümünde geçtiğine ve kanıt cümlesinin uzunluğuna göre ayırıyoruz. Hakemin nerede ve neden yanıldığını bu döküm gösteriyor.
Otomatik puanlamada bu iş bir kez yapılıp bırakılmaz. ETS'nin yazma sınavlarındaki otomatik puanlayıcı üzerine çalışması, insan ve makine puanlarının uyumunun zaman içinde düzenli izlenmesini anlatır [7].
82 ile 79 arasındaki fark
Ekrandaki 82'nin iki basamaklı olması, ölçümün o kadar ince olduğunu kanıtlamaz. Ölçme standartları, iki puan arasındaki farktan sonuç çıkarılacaksa ölçümün hassasiyetinin hesaba katılmasını ister [1]. 82 ile 79'u güvenilir biçimde ayıramayan bir sistem, kullanıcıya bu üç puanı büyük bir fark gibi göstermemeli.
EVRE'de puan kanıtla birlikte gelir. Kişi 82'yi görür. Yanında hangi davranışın görüldüğünü, hangisinin eksik kaldığını ve bunu gösteren cümleleri de görür. Gelişim için asıl iş gören bilgi budur: bir sonraki denemede neyi farklı yapacağı.
Sayının kendisi bizim için bir Ar-Ge konusu. Yol haritamız üç adımlı: önce uzman puanlayıcılarla kalibrasyon, sonra insan ve model puanları arasındaki ilişkinin kurulması, en sonda periyodik denetimle çalışan ölçüm. Hedef, kalibrasyon verisi biriktikçe aynı davranışa verilen sayının daha dar bir aralıkta kalması.
Gelişim puanı ile işe alım kararı
Bir çalışana "endişeyi doğru özetledin ama çözüme geçmeden ihtiyacı netleştirmedin" demek bir koçluk cümlesidir. "Bu aday işe alınmasın" demek başka ağırlıkta bir karardır ve daha güçlü kanıt ister.
Endüstri ve Örgüt Psikolojisi Derneği'nin (SIOP) 2023 rehberi, işe alımda kullanılan yapay zeka değerlendirmelerinin geleneksel testlerle aynı bilimsel standartlara tabi olduğunu söyler: işle ilişki, geçerlik, güvenilirlik ve adalet [3]. Rehber, bir modelin çok sayıda sinyal çıkarabilmesinin bu sinyalleri işle ilgili yapmadığını da vurgular. AB Yapay Zeka Yasası da işe alım ve çalışan değerlendirmesindeki bazı kullanımları yüksek riskli sayar. Belirleyici olan, sistemin amacı ve karar üzerindeki rolüdür [8].
Aynı ölçüt koçluk sinyalini, eğitim sonrası gelişim ölçümünü ve işe alım kararına giren bir girdiyi besleyebilir. Her biri farklı düzeyde kanıt ister.
Satın almadan önce sorulacak beş soru
Bir yapay zeka role play aracını değerlendiriyorsanız demoda şunları isteyin:
- Ölçütün yazılı hali. Puanın arkasındaki sorular hangileri?
- Kanıt cümlesi. Bir bulgudan konuşmadaki cümleye gidebiliyor musunuz?
- Tekrar okuma. Aynı konuşma yeniden değerlendirildiğinde sonuç ne kadar değişiyor?
- İnsanla karşılaştırma. Uzman puanlayıcılarla nerede uyuşuyor, nerede ayrışıyor?
- Sürüm geçmişi. Ölçüt ya da model değiştiğinde eski sonuçlara ne oluyor?
EVRE'de ilk ikisini her raporda görürsünüz. Diğer üçü için ölçüm yöntemimizi demoda kendi senaryonuz üzerinden anlatıyoruz. Kurumlar için nasıl çalıştığımızı kurumsal sayfada yazdık. Demo talebi bırakabilirsiniz.
Konunun ekip tarafı için Skor ekranının ötesi, satın alma soruları için İK ve L&D için AI roleplay değerlendirme yazılarımıza bakabilirsiniz.
