İK ve L&D için AI roleplay değerlendirme: imzadan önce sorulacak dört soru

AI roleplay araçları demoda birbirine benzer görünür: gerçekçi bir karakter, sesli görüşme, hazır senaryolar, anlık geri bildirim, bir skor ekranı. Bu vaat seti pazarın ortak dili haline geldi; demo zaten tam da bu yüzden çok az şey anlatır. Araçları birbirinden ayıran şey, ekibinizin gerçekten yürüttüğü görüşmelere ne kadar yakın durdukları, gözlemlenebilir davranışı nasıl puanladıkları ve seansın işe geri taşınabilen bir pratiğe dönüşüp dönüşmediği. Aşağıda bu farkları açığa çıkaran dört soru var, bir de çoğunu tek başına çözen bir test. Hiçbiri sizin yerinize satıcı seçmez; ama demo cilasının altını görmenize yardım eder.

İş yeri eğitimi literatürü burada dikkatli bir iddiayı destekliyor, en yüksek perdeden olanı değil. Sitzmann'ın (2011, Personnel Psychology) 65 çalışmayı ve 6.476 katılımcıyı kapsayan meta-analizinde, simülasyonla eğitilen gruplar uygulama becerisinde karşılaştırma gruplarına göre yaklaşık %14, kavramsal bilgide %11 ve öğrenmenin kalıcılığında %9 daha yüksek puan aldı. Salas, Wildman ve Piccolo (2009, AMLE) yönetim eğitimi için benzer bir noktaya değiniyor: simülasyon tabanlı eğitim değerli olabilir, ama yalnızca iyi tasarlanıp iyi uygulandığında. Yani "AI roleplay çalışır" hiçbir zaman tam bir cümle değil. Anlamını ancak cümleyi tamamladığınızda kazanıyor: iyi tasarlandığında, gözlemlenebilir davranışa göre puanlandığında ve alıcının gerçekten yaptığı işe göre biçimlendiğinde.

AI roleplay ne yapmalı (ve ne yapmamalı)

AI roleplay araçları iki eski yaklaşımın arasında oturuyor. Canlı roleplay ve sınıf içi atölyeler, iyi tasarlandığında güçlü pratik alanları kurabilir; ama maliyet, tutarlılık, tekrarlanabilirlik ve katılımcı güvenliği bunların önünü tıkar. Dijital eğitim modülleri ölçeklenir ve ucuz kalır; gelgelelim çoğu yalnızca birinin geldiğini, bitirdiğini ya da bir bilgiyi hatırladığını kaydeder. Davranışın gerçekten değiştiğini kanıtlamak bambaşka ve daha zor bir eşik. Kirkpatrick'in dört düzeyi bu çizgiyi onlarca yıldır çiziyor: insanlar bir seanstan keyif alıp testini geçebilir, ama işi sonradan farklı yapmaya başlamayabilir ve kurum hiçbir sonuç görmeyebilir. Bu boşluk kâğıt üstünde değil, sahada gerçek. ABD Veterans Affairs'in zorunlu bilgisayar tabanlı eğitimler üzerine kanıt taraması (Peterson & McCleery, 2014), etik, taciz veya gizlilik eğitimlerinin organizasyonel davranış sonuçlarını ölçen çalışma aradı ve eli boş döndü.

Bu yüzden AI roleplay'in vaadi canlı roleplay'i emekliye ayırmak değil; zor konuşmaları tekrar edilebilir, ölçülebilir ve bağlamınıza oturan bir pratik ortamına çevirmek. Bu vaat ancak üç şey aynı anda doğruysa tutar: gerçek bir psikolojik gerçeklikle direnç gösteren karakterler, davranışsal olarak açıklayabildiğiniz skorlar ve kurumun gerçek senaryolarına eğilip bükülen bir yapı.

İmzadan önce sorulacak dört soru

1. AI karakter gerçekten direniyor mu, yoksa sadece cevap mı veriyor?

Birçok demoda AI karakter, katılımcı ne derse desin baş sallar. Bu roleplay değil; sesli okunan bir senaryo metnidir. Gerçek görüşmeler tam da karşı taraf direndiği, bilgiyi sakladığı, duygulandığı ya da cümlenin ortasında fikir değiştirdiği için bozulur. Eğitim transferi literatürü (Baldwin & Ford, 1988; Blume ve ark., 2010, Journal of Management) hep aynı yere varıyor: pratik ortamının gerçek iş ortamına ne kadar benzediği, becerinin işe aktarılıp aktarılmamasının başlıca belirleyicilerinden biri. Yani "karakter ne kadar direniyor?" sorusu cila meselesi değil; transferin ön koşulu.

Katılımcının yanlış bir şey söylediği bir seans isteyin ve hemen ardından ne olduğuna bakın. Karakter yükseliyor, çelişiyor veya ruh hâli değişiyorsa bir roleplay aracına bakıyorsunuz. Aynı soruyu yeniden formüle etmekle yetiniyorsa, yüzü olan bir teste bakıyorsunuz.

2. "İyi performans" neye göre puanlanıyor?

Dikkat edilecek iki başarısızlık şekli:

• Öz-değerlendirme: katılımcı sonunda kendine puan veriyor. Bu tek başına size nasıl hissettiğini söyler, davranışının değişip değişmediğini değil.
• His tabanlı puanlama: sistem hesabını veremediği bir sayı döndürüyor. Bu tür bir skor sessizce kurumsal bir riske dönüşür; çünkü yöneticiler ona güvenmeye başladığı an, gerçek kararlar da onun üzerine oturmaya başlar.

En temiz görünen skor ekranı çoğu zaman en yanıltıcı olanıdır. Katılımcının önüne 82/100 koymak hiç emek istemez. İş, bu sayının konuşmanın hangi anlarından çıktığını gösterebilmekte.

İyi bir araç, seansı katılımcı için üç şeyle kapatabilmeli: nerede doğru davrandı, nerede riski yükseltti, bir sonraki sefer neyi farklı yapmalı. İlke yeni değil. Smith ve Kendall'ın (1963, Journal of Applied Psychology) davranışsal olarak çapalanmış değerlendirme ölçekleri üzerine çalışması, bir puanın ancak genel bir izlenime değil, somut ve gözlemlenebilir bir davranışa işaret ettiğinde işe yaradığını ortaya koydu. O yüzden satıcıdan iç algoritmayı değil, örnek bir geri bildirim çıktısı isteyin. Konuşmada söylenen bir şeye bağlanamayan skor, davranışı ölçmüyor demektir.

3. Senaryolar gerçek işinize göre özelleştirilebiliyor mu, yoksa sadece etiketleniyor mu?

Birçok araç hazır jenerik senaryolarla geliyor: "zor müşteri görüşmesi", "performans değerlendirme". Bazıları bunları yeniden adlandırmanıza izin verip buna özelleştirme diyor. Karşılaştırma için, EVRE'nin Black Friday Krizi ya da Performans Değerlendirme Görüşmesi brifi baştan sektör ve kişi spesifik; yeniden adlandırılmış stok değil.

Asıl soru şu: şirketinizde gerçekten yaşanan bir durumu, ürününüzü, fiyat kademelerinizi, regülatörünüzü, tonunuzu anlatıp bunu yansıtan bir senaryo geri alabiliyor musunuz? Transfer araştırmasının satın alma masasında yerini bulduğu nokta tam burası: Blume ve ark. (2010), transferin tek bir etkene değil, eğitimin kendisi, öğrenen ve iş ortamı tarafından birlikte sürüklendiğini buldu. Senaryo gerçek işe ne kadar yakınsa, pratiğin işe taşınması için o kadar çok alan kalıyor.

Yanıt "biz size 6 haftada inşa ederiz" içeriyorsa, alıcı ürün mü hizmet mi aldığını netleştirmeli; bu ayrım kulağa geldiğinden daha önemli. Yanıt "siz bir brief yazıyorsunuz, sistem senaryoyu üretiyor" ise, briefin canlı olarak oynanabilir bir seansa dönüşmesini izlemek isteyin. Çoğu demo bunu yapamıyor.

4. Devreye alma gerçekte nasıl görünüyor, ilk hafta ve ilk çeyrek?

Birçok araç demoda parlar, sonra tozlanır. Bu sonuç aynı literatürden tahmin edilebilir: iyi bir seans gerekli ama yeterli değil; çünkü katılımcının kim olduğu, yöneticisinin işi destekleyip desteklemediği ve çevredeki iş ortamının neyi ödüllendirdiği, bir şeyin kalıcı olup olmayacağını birlikte belirler (Baldwin & Ford, 1988; Blume ve ark., 2010). Ortalığa bir link savurmak devreye alma sayılmaz.

Devreye alma akışını isteyin:

• Katılımcılara senaryolar nasıl atanıyor?
• Yöneticiler kimin neyi yaptığını ve nasıl performans gösterdiğini görebiliyor mu?
• Aynı senaryoyu bir gruba atayıp karşılaştırma yapmanın bir yolu var mı?
• Birisi başarısız olursa, yapılandırılmış bir tekrar yolu ve yönetici takibi var mı?

Satıcının yanıtı "yöneticiler linki e-postayla gönderebilir" ise, araç kurumsal devreye alma için tasarlanmamış; site iddiasından bağımsız.

Önemli olan tek test: gerçek bir seans çalıştırın

Demo sonrası satıcıdan ekibinizin gerçekten yürüttüğü bir görüşmeyi yansıtan tek bir senaryo kurmasını isteyin. Sonra bir L&D evangelisti değil, gerçek bir zor yöneticinizi 15 dakika boyunca karşısına oturtun.

Üç şeye bakın:

1. Yönetici gerçekten içine giriyor mu? İki dakika içinde AI'a gülüyorsa, psikolojik gerçekçilik orada değil; transfer beklemek zor.
2. Geri bildirim oturuyor mu? Puan ve açıklama, görüşmede sizin düşündüğünüzle örtüşüyorsa sistem davranışsal kanıta dayanıyor demektir.
3. Tekrar yapar mı? En iyi erken benimseme sinyallerinden biri, katılımcının seansı kendi isteğiyle tekrar etmek isteyip istememesidir.

Geri kalan her şey (gösterge paneli, entegrasyonlar, analitik) ikincil. Çekirdek seans davranışı kıpırdatmıyorsa, o raporlamanın hiçbiri gerçek bir iş görmüyordur.

Değerlendirmede atlayabileceğiniz şeyler

Önem vermek isteyeceğiniz ama aslında fark yaratmayan birkaç şey:

• Hazır senaryo sayısı. 200 jenerik senaryo, gerçek işinize uyan 5 senaryodan daha az değerli.
• LMS entegrasyonu. Bir noktada faydalı; ama kötü entegre olan bir araçtansa, başına buyruk iyi çalışan bir araç daha iyi.
• Çok dilli destek. İhtiyacınız varsa önemli; göstermeden vaat eden satıcıların çevirileri genellikle zayıf.
• "Gerçek" ses kalitesi. Gecikme doğallıktan daha önemli. Her yanıt arasında 2 saniyelik bir duraklama varsa, kimse görüşmede olduğunu hissetmiyor.

Bunu doğru çözen alıcılar, tek bir şeyi iyi yapan bir araç seçiyor; zor görüşmeleri pratik edilebilir kılan bir araç. Özellik matrislerini karşılaştırmayı bırakıyorlar.

Satın alma zamanlaması üzerine bir not

İki satıcıyı değerlendiriyorsanız, fiyat farkını gerçekçilik farkıyla birlikte değerlendirin; bunlar bağımsız eksenler değil. Üçüncü haftadan sonra kimsenin açmadığı bir araç, daha az özellikli ama gerçekten kullanılan bir araçtan daha pahalıdır. Kullanılmayan araç, sözleşme bedelinden bağımsız olarak pahalıdır.