Marey tek bir kişinin hareketini, onu zaman içinde tekrar tekrar örnekleyerek ölçtü. Tek kare bir duruştur; dizi ise davranışın kendisi. Bir takımın yetkinliği de aynı şekilde okunur, her seferinde bir seans.
↳ KAYNAKHer yapay zeka roleplay demosu aynı yerde biter: bir skor ekranı. 100 üzerinden bir sayı, birkaç güçlü yön, çalışılacak birkaç nokta ve bir "tekrar dene" butonu. Seansın vardığı yer burasıdır; ve aynı zamanda çoğu aracın bir kurum için sessizce işe yaramaz hale geldiği yerdir. Skor, bir kişinin yalnızca o konuşmadaki halini anlatır. Oysa bir şirketin gerçekte sorduğu soru daha büyük ve daha yavaştır: ekibim, yanlış gittiğinde bize para kaybettiren konuşmalarda gerçekten daha iyi hale geliyor mu, ve bunu nereden bileceğim?
Bu yazının konusu tam da o boşluk. Skor bir veri noktasıdır. Bir yığın veri noktasını yöneticinin harekete geçebileceği bir şeye çeviren şey, onları çevreleyen sistemdir: seansların nasıl birikip bir örüntüye dönüştüğü, o örüntünün dikkatin nereye gitmesi gerektiğini nasıl yüzeye çıkardığı ve aylar sonra gerçekten bir şeyin değişip değişmediğini nasıl kontrol edebildiğin. Demo sana skoru gösterir. Bir kurum içinse asıl ürün, o skordan sonra olan her şeydir.
Bir skor tek bir okumadır; takım sistemi ise ölçüm aletidir.
Bir seans, kişinin yalnızca o anı nasıl karşıladığını söyler. Değer ancak çok sayıda seans bir araya gelince, zaman içinde ve şirketinde gerçekten yaşanan işe karşı okununca birikir.
Skor ekranı tek bir figürü aydınlatır. Yöneticinin asıl sorusu ise diğer otuz dokuz kişi ve bu kişinin gelecek çeyrekte nerede olacağı hakkında.
Tek bir skor ne söyler, ne söylemez
Herhangi bir skoru olduğu gibi kabul etmek, gürültülü bir şeyin tek bir gözlemine güvenmek demektir. Zorlu bir sözleşme yenileme görüşmesinde 61 alan bir temsilci o an dikkati dağılmış olabilir, daha zorlu bir personayla eşleşmiş olabilir ya da sadece kötü bir on dakika geçirmiş olabilir. Bunların hiçbiri skoru yanlış kılmaz; yalnızca onu tek başına zayıf bir kanıt yapar.
Bu, ölçüm alanında eski bir bulgu; yapay zekaya dair yeni bir şikâyet değil. Epstein'in (1979, Journal of Personality and Social Psychology) davranışın kararlılığı üzerine çalışması şunu gösterdi: bir insanın tek bir gözlemi o anın gürültüsünün altında kalır; kararlı ve güvenilir bir sinyal ancak gözlemler birkaç farklı duruma yayıldığında ortaya çıkar. Bir seans, bir kişi hakkında yalnızca bir anekdottur. Üç senaryoya yayılmış altı seans ise kanıt olmaya başlar. Eğitim açısından çıkarım nettir: asıl ilgilenilmesi gereken şey skorun kendisi değil, altındaki eğilim ve dağılımdır.
Yani bir kurumun bir roleplay aracından ilk beklentisi daha iyi bir sayı değildir; sayıların birikip bir şekle dönüştüğü bir yerdir.
Bu, her eğilimin belirir belirmez güvenilmesi gerektiği anlamına gelmez. Erken skorlar geçicidir. Bir sinyal ancak tekrarlı seanslar, karşılaştırılabilir senaryolar ve bir yöneticinin inceleyebileceği davranış düzeyinde kanıt biriktikten sonra işe yarar hale gelir. Amaç, ölçümün kusursuz olduğunu iddia etmek değil; tek bir skoru yeterliymiş gibi görmeyi bırakmaktır.
Kanıttan örüntüye: bir takımın davranışını okumak
Seanslar biriktikçe bir takım, bir skor tablosuna benzemeyi bırakır ve bir profile benzemeye başlar. Bazı davranışlar neredeyse herkeste güçlüdür. Bazıları ise farklı kişilerde, aynı tür anlarda tekrar tekrar beliren ortak bir zayıf noktadır. Bu örüntü, herhangi bir bireyin sıralamasından çok daha işe yarar, çünkü iyi yerleştirilmiş tek bir müdahalenin en çok kişiye nerede dokunacağını söyler.
İşin püf noktası, örüntüyü belirsiz bir izlenime değil, gözlemlenebilir davranışa bağlı tutmaktır. Smith ve Kendall'ın (1963, Journal of Applied Psychology) davranışa dayalı derecelendirme ölçekleri üzerine çalışması bu noktayı on yıllar önce ortaya koydu: bir derecelendirme değerini, ancak kişinin genel izlenimine değil, yaptığı belirli ve gözlemlenebilir bir şeye işaret ettiğinde hak eder. EVRE bu disiplini takım düzeyinde korur: kişi başına harmanlanmış tek bir sayı yerine seanslar, her biri bir hakemin alıntılayabileceği anlara bağlanan adlandırılmış davranış faktörlerinde toplanır.
Takım genelinde istikrarlı. Karşı taraf zorlaştığında ekip sakin ve somut kalıyor.
Adımların sırası sağlam. Senaryo uzadığında ya da iki kez dallandığında kapanış kayıyor.
Takımın en belirgin açığı. Gerilim eşiği en çok burada kaçırılıyor.
Bir kademe daha derine bakınca aynı takım bir davranışsal imzalar kümesine dönüşür: tekrar eden güçler, tekrar eden açıklar ve her örüntünün nerede belirdiği. Amaç insanları sıralamak değil. Hangi davranışların tekrarlandığını, nerede kırıldığını ve takımı en hızlı hangi sonraki pratiğin ilerleteceğini görmektir.
Davranışsal İmzalar
2 çalışanda engelleyici işaret
toplam oturum 85
Böyle okununca bulgu "takım ortalaması 64" değildir. "Bu takım konuşmaları en çok süreç adımlarında kaybediyor; hem de tam gerilimin tırmandığı eşikte" olur. Biri bir karne. Diğeri bir talimat.
Tek seferlik seans değil, takip edilebilir döngü
Skor ekranının bir son gibi hissettirmesi şaşırtıcı değil: tek bir seanstaki tek bir kişi için gerçekten de bir sondur. Kurumsal değer ise onu bir döngüye kapatmaktan doğar: bir seans davranış kanıtı üretir, kanıt bir açığı yüzeye çıkarır, açık belirli bir sonraki atamayı tetikler ve bir sonraki seans aynı davranışı biraz farklı bir baskı altında yeniden ölçer. Asıl ürün bu döngüdür; geri kalan her şey onun için kurulmuş ölçüm düzeneğidir.
"Eğitimi bitirdiler mi" sorusunun yanlış soru olmasının nedeni de budur. Ericsson, Krampe ve Tesch-Römer'in (1993, Psychological Review) kasıtlı pratik üzerine çalışması nettir: gelişim, maruz kalmaktan ya da tamamlamadan değil, belirli bir zayıflığa yönelmiş, tekrarlı ve geri bildirimle beslenen denemelerden gelir. Takip edilebilir bir sistem, kasıtlı pratiği bir takımın ölçeğinde mümkün kılan şeydir: herkesin geçen sefer nerede zorlandığını hatırlar ve sonraki tekrarı tam olarak oraya yöneltir.
Bunların hiçbiri seansların kendisini zayıf göstermez. Simülasyon temelli öğrenmenin kanıt zemini güçlü; özellikle de simülasyonun etrafına bir öğrenme iskelesi kurulduğunda. Chernikova ve arkadaşları (2020, Review of Educational Research) 145 çalışmayı birleştirip simülasyon temelli öğrenme için büyük bir genel etki buldu (g = 0.85). Aynı derleme şu konuda da açık: kazanım simülasyonun tek başına değil, etrafındaki iskele ve tasarımın sonucudur. Sitzmann'ın (2011) daha eski meta-analizi bilgisayar temelli simülasyon oyunları için aynı sonuca vardı: katılımcılar en çok, pasif izleme yerine aktif pratik yaptıklarında öğrendi. İşte döngü, takım ölçeğinde kurulan o iskeledir. Yapay zeka araştırmasındaki yakın tarihli bir çerçeve de aynı yönü gösteriyor: Yang ve arkadaşları (2024) LLM temelli sosyal beceri eğitimini bir "AI partner, AI mentor" ayrımı olarak tanımlıyor; biri karşısında pratik yapılan, diğeri geri bildirim veren. Takip edilebilir bir takım sistemi, bu ikiliyi iyi geçen tek bir seanstan bir müfredata çevirir. Böyle bir çerçeve yönü gösterir; onu bir kanıt izine dönüştüren şey ise EVRE'nin tam da sağlamak için kurulduğu şeydir: tekrarlı kullanım, davranış düzeyinde sinyal ve bir yöneticinin üzerine hareket edebileceği transfer kontrolleri.
O döngü, bir tarif olarak değil canlı bir yüzey olarak şöyle görünür. Her nokta bir oturumun, takımın taban bandına karşı davranış izi; düşüşler bir konuşmanın kötü gittiği anlar, ve aynı davranış yeniden çalışıldıkça akış toparlanıyor.
Performans Akışı
Oturum oturum davranış izi — bant: ekip taban aralığı (ort ± σ)
Bir yöneticinin nihayet görebildikleri ve yapabildikleri
Bir eğitim aracı ile bir eğitim sistemi arasındaki fark yöneticinin tarafında ortaya çıkar. Seanslar adlandırılmış davranışlara karşı biriktiğinde, yönetici tahmin etmeyi bırakır ve okumaya başlar. EVRE'de bu, bir yöneticinin sırayla geçtiği dört yüzeyde yaşar: Genel, Performans, Davranış ve Aksiyon; her biri kasıtlı olarak gösterişsiz ve somuttur:
- Bireysel skorların duvarı yerine, hangi davranışların güçlü, hangisinin takımın ortak açığı olduğunu çeyrekten çeyreğe gösteren bir görünüm.
- Bir eğilimde geriye kayan kişileri, gerçek bir müşteri konuşmasında ortaya çıkmadan önce işaretleyen bir risk sinyali.
- Bir takımın hangi senaryoları gerçekten çalıştığını ve hangi yüksek riskli senaryolara kimsenin dokunmadığını gösteren bir kapsama kaydı.
- Bir grubu zaman içinde kendisiyle karşılaştıran bir gelişim farkı; böylece "daha iyi oluyor" ölçülen bir iddia olur, bir his değil.
Bunların hiçbiri sıra dışı bir analitik değil. Fark, "gerilim eşiğinde en zayıfız ama Mart'tan beri toparlanıyoruz" diyebilen bir yönetici ile yalnızca "insanlar eğitimi tamamladı" diyebilen bir yönetici arasındaki farktır. İlk cümle yönetilebilir; ikincisi yalnızca eğitimin yapıldığını söyler.
Örnekleme amaçlı görsel. Kırk temsilciden altısı bu ay süreçte geriye kayan bir eğilim gösteriyor; bu, şirket çapında bir genelge değil, kısa ve somut bir koçluk listesi.
Dördüncü yüzey, okumanın yapmaya döndüğü yerdir. Analitiğin yüzeye çıkardığı bir açık orada bir toplantı notu değil, kadrodaki bir isme atanmış somut bir senaryo olur; ölçüm bir genelge değil, bir sonraki hamle olur.
Pratikte bu oldukça sıradan görünür. Bir takım, sözleşme yenileme görüşmelerinde aynı gerilim eşiğini tekrar tekrar kaçırıyorsa, sonraki hamle bir başka genel iletişim modülü değildir. Tam da o eşiğin etrafına kurulmuş kısa bir senaryodur; izleri açığı gösteren kişilere atanır ve aynı davranışa karşı yeniden ölçülür.
Yüzeylerin ardındaki seçimler
O dört yüzeyin nasıl okunduğunu üç kasıtlı seçim şekillendirir ve felsefe, özellik listesinde değil, asıl burada durur.
Birincisi, renk süs değil, kıt bir sinyaldir. İyileşen gruplar sakin bir teal ile, gerçek risk ise donuk bir clay ile okunur; ama amber, genel bir vurgu olmak yerine nadir bir dikkat işareti olarak geride tutulur. Her yeri yanan bir yüzey insanlara hiçbir yere bakmamayı öğretir; bu yüzden dikkat bilerek kısıtlanır: amber belirdiğinde, o bakışı hak etmesi beklenir.
İkincisi, dil gelişim odaklı kalır. En alt bant "başarısız" değil, "gelişmesi gereken" der. Bu, aşağı yönde büyük etkisi olan küçük bir sözcük seçimidir, çünkü yüzey yargı dağıtmak için değil koçluğu hedeflemek için kurulmuştur ve bir yöneticinin okuduğu sözcükler, ardından gelen konuşmanın tonunu belirler.
Üçüncüsü, analitik isimlerin sıralı bir listesine değil, davranışlara ve gruplara işaret eder. Bu, bir sonraki bölümün etik taraftan vardığı kısıtın tasarım tarafından varılmış halidir: bir takım yüzeyi bir skor tablosuna dönüştüğü an, altındaki pratik güvenli olmaktan çıkar ve ölçüm, iyileştirmek için kurulduğu şeyi sessizce aşındırmaya başlar.
Olduğunu değil, işe yaradığını ölçmek
Bu pratikte çözülmüş bir sorun değil. LinkedIn'in 2025 Workplace Learning Report'u, takımların gelişim programlarını iş sonuçlarına bağlamanın ne kadar zor olduğunu hâlâ gösteriyor; çoğu, doğrudan davranış kanıtı yerine katılım, elde tutma ve tamamlama gibi dolaylı ölçütlere yaslanıyor. Eğitim değerlendirmesindeki en eski soru, parasını ödediğin şeyin sahada davranışı değiştirip değiştirmediğidir. Kirkpatrick ve Kirkpatrick'in (2006) dört düzeyi bu çizgiyi on yıllardır çizer: tepki ve öğrenme kolayca yakalanır, ama bütçeyi asıl haklı çıkaran düzeyler davranış ve sonuçlardır ve çoğu araç zor oldukları için tam da bu düzeyleri atlar. Aynı davranışı zaman içinde yeniden ölçen bir sistem, üçüncü düzey (davranış) kanıtına uzanan pratik bir köprüdür; özellikle yöneticiler simülasyon sinyalini sahada olup bitene bağladığında. İnsanlara seansı beğenip beğenmediklerini sormuyorsun. Çalıştıkları davranışın yeniden sınandığında daha güvenilir biçimde ortaya çıkıp çıkmadığını ve yöneticilerin bu sinyali gerçek işe bağlayıp bağlayamadığını izliyorsun.
Transfer araştırması gerekli uyarıyı ekler. Baldwin ve Ford (1988) ile Blume ve arkadaşları (2010, Journal of Management), bir becerinin sahaya taşınıp taşınmadığının eğitime, kişiye ve iş ortamına birlikte bağlı olduğunu, hiçbirinin tek başına yetmediğini bulur. Hamzah ve arkadaşlarının 2025 tarihli bir kapsam derlemesi (European Journal of Work and Organizational Psychology) bu noktayı keskinleştirdi: binlerce çalışmayı tarayarak transferi birlikte iş gören yetenek, fırsat ve motivasyona indirgedi ve daha iyi eğitim tasarımının tek başına transfer sorununu çözeceği rahat varsayımına açıkça karşı çıktı. Seans değil, sistem argümanı da budur. Yetenek pratikten gelir; fırsat ve motivasyon ise yöneticinin bir sonraki adımında yaşar ve bir ölçüm döngüsünün görünür ve koçlanabilir kıldığı tam da bunlardır. Hiçbir ölçüm, pratiği tek başına sahadaki transfere çeviremez; o son adımı bir yönetici kapatır. Döngünün garanti ettiği şey, yöneticinin umuda değil bir sinyale göre hareket etmesidir: davranış sahada pekiştirildiğinde, işe yaradığını doğrulayacak bir okuma vardır.
Tamamlanma oranı bir seansın gerçekleştiğini söyler. Tekrarlı, senaryoyla eşleşmiş pratik boyunca hareket eden bir davranış eğilimi ise daha güçlü bir kanıttır: çalışılan davranışın gerçekten değiştiğini gösterir ve yöneticiye bunu sahada pekiştirip doğrulayacağı sinyali verir.
Δ = önceki döneme göre kompozit skor değişimi
Gözetime dönüşmeden takip edilebilirlik
Burada gerçek bir başarısızlık modu var ve onu açıkça adlandırmakta fayda var. Davranış takım düzeyinde ölçülebilir hale geldiği an, bir izleme aracına dönüşebilir ve bir pratik ortamını öldürmenin en hızlı yolu, insanları içinde izlendiklerini ve sıralandıklarını hissettirmektir. Edmondson'un (1999, Administrative Science Quarterly) psikolojik güvenlik üzerine araştırması mekanizma konusunda net: insanlar, öğrenmenin gerektirdiği kişilerarası riskleri ancak ortamın hata yapmaya güvenli olduğuna inandıklarında alır. Bireylere doğrultulmuş bir skor tablosu bu güvenliği sessizce ortadan kaldırır.
Tasarım cevabı, analitiği cezalandırıcı bir bireysel sıralama yerine davranışlara ve gruplara doğrultmak ve sinyali insanları sıralamak için değil, koçluğu hedeflemek için kullanmaktır. Pratik, hata yapmanın asıl mesele olduğu bir yer olarak kalmak zorunda. Bu dengeyi simülasyonda psikolojik güvenlik yazısında daha derinlemesine ele almıştık; sistemin geri kalanının saygı göstermesi gereken kısıt budur.
Tüm döngü, tek bir hareketli görselde. İçinden kaydır, izin üzerinde imleci gezdirerek her noktanın ne olduğunu oku.
Tek bir konuşma tek bir davranış izine dönüşür. Dipler, işlerin kötü gittiği yerler.
oturum #14 · 12 tur · skor 74
İz, davranışsal bir imzaya çözülür; tekrar eden güçler ve açıklar.
8 güçlü · 7 izle · 3 engel
Tek bir imza diğerlerine katılır. Örüntü takımın, bir kişinin sıralaması değil.
10 üye · ort 67 · 1 riskli
İzler bir taban bandına karşı zamana yayılır. Daha iyi olmak ölçülen bir iddia olur.
ort 68 ± 9 · Δ +2.2 / 30 gün
Bir iz risk çizgisini geçer. Dikkat kıttır, o yüzden sinyal bir sonraki tekrarı hak eder.
riskli → 1 tekrar ata → sonraki oturum
Hamle daha yüksek bir tabandan yeni bir oturuma döner. Prova tekrarlar.
yeni bir oturum, daha yüksek taban
Kısa hali
Bir skor ekranı, tek bir provanın sonucudur. Seansı yeni bitiren kişi için gerçekten faydalıdır ve tek başına kurum için neredeyse anlamsızdır. Bir kurumun satın aldığı şey, doğru şeyi satın alıyorsa, bir prova akışını okunabilir bir eğilime çeviren sistemdir: harmanlanmış sayılar yerine adlandırılmış davranışlar, sonraki tekrarı son açığa yönelten bir döngü ve aylar sonra davranışın gerçekten hareket ettiğini kontrol etmenin bir yolu. Bir araç sana yalnızca skoru gösterebiliyorsa, yaptığı işin en az ilginç kısmını göstermiştir. Debrief'te durma. Aynı davranışların tekrarlı seanslar, karşılaştırılabilir senaryolar ve gerçek yönetici takibi boyunca hareket edip etmediğini sor.
