Sekiz kişi,
on hafta,
dürüstçe okundu.
Büyük bir Türk kurumundaki gerçek bir pilotun kullanım verisi, cilasız: sekiz kişinin on hafta boyunca gerçekte ne yaptığı ve bunun neyi kanıtlayıp neyi kanıtlamadığı.
Vaka çalışmalarının çoğu, satıcıyı gururlandıran bir sayıyla açılır. Bu, bir tabloyla açılıyor. Büyük bir Türk kurumunda sekiz çalışan, on hafta boyunca çoğu canlı video olmak üzere, tek bir zor senaryoda elli altı davranış simülasyonu koşturdu. Ham kullanımı çektik ve dürüstçe okuduk; bir alıcının bizimkini okumasını istediğimiz gibi. Bir kısmı gerçekten cesaret verici. Bir kısmı gürültülü ve sonuçsuz. Aşağıda hepsi var ve verinin desteklediği ile desteklemediği arasında net bir çizgi.
I.
Pilot.
Şirketin adını veremeyiz ve sektörünü ima etmeyeceğiz. Önemli olan biçim: büyük bir Türk kurumu, bir grup çalışanını bir saatlik demo için değil, iki aydan uzun süre geri döndükleri bir şey olarak EVRE'nin karşısına koydu. Çoğu canlı video-görüşme modunda olmak üzere tek bir yüksek riskli senaryoyu prova ettiler; burada bir AI karşı taraf kamerada gerçek zamanlı konuşur ve tepki verir. Aktör tutulmadı, atölye planlanmadı; insanlar vakti olduğunda bir seans koşturdu.
davranış simülasyonu, sekiz çalışan tarafından yaklaşık on hafta boyunca koşturuldu. Hepsini saydık; yarıda bırakılan yirmi biri de dâhil.
II.
Veride kullanım.
- 56
- oturum
- 8
- katılımcı
- 9
- aktif hafta
- 49
- canlı videoda
- 9
- geçildi
Figür 1 — Haftalık ritim
Figür 2 — Katılımcı başına oturum
Dürüst sinyal bir memnuniyet puanı değildi. Bir kişinin, kendisini çoğu zaman yenen bir senaryoya otuz dört kez geri dönmesiydi.
III.
Nasıl ölçtük.
Her seans davranış boyutlarında 0'dan 100'e puanlandı ve her denemenin sonucu üç halden biriyle kaydedildi: geçti, kaldı ya da yarıda bırakıldı. Eğri üzerinden not vermedik ve yarıda kalan seansları sessizce çıkarmadık; bu sayfadaki her sayının içindeler.
- 01
Tek ve zor bir senaryo.
Bir katalog değil, tek bir senaryo; böylece bir puan ilk katılımcıdan sonuncusuna kadar aynı şeyi ifade eder. Herkes aynı baskıyla yüzleşti.
- 02
Çoğunlukla canlı video.
Elli altı seansın kırk dokuzu, AI karakterin kamerada konuşup tepki verdiği video-görüşme modunda koştu. Gerçek toplantıya en yakın olan ve saklanmanın en zor olduğu yer burasıdır.
- 03
İzlenim değil, sonuç.
Her deneme kayıtlı bir durum ve 0–100 puanla bitti. Ölçüt, bir kez koşturan katılımcı için de otuz dört kez koşturan için de aynıydı.
IV.
Verinin gösterdiği — ve göstermediği.
Söz verdiğimiz çizgi burada. Kullanım verisinin gerçekten desteklediği dört şey ve daha az dikkatli bir sayfanın yine de öne süreceği, verinin desteklemediği dört iddia.
Verinin desteklediği
Sürdürülen, kendi hızında geri dönüş.
Dokuz aktif hafta boyunca elli altı seans; tek bir planlanmış atölye yerine birçok farklı güne yayıldı. İki ay boyunca kendi hızında tekrar, taklit edilmesi en zor katılımdır ve bu veri setindeki en net şeydir.
Derinlemesine bağlı bir yoğun kullanıcı.
Katılım ağır biçimde çarpıktı: tek bir katılımcı, yedi ayrı hafta boyunca 56 seansın 34'ünü (%61) koşturdu. Bu, en az bir kişi için gerçek bir çekim; aynı zamanda bir uyarı, çünkü grubun tümünün eşit katılım göstermediği anlamına geliyor.
Canlı videoda ayakta kaldı.
Birkaç erken yazılı seanstan sonra kullanım neredeyse tamamen canlı video-görüşmeye kaydı — 56'da 49. Sistem, grubun onu bırakıp yazıya dönmesi olmadan, zorlu mod olan gerçek zamanlı sesli seansların düzinelercesini taşıdı.
Senaryo gerçekten zordu.
Elli altı denemenin dokuzu geçti. Çoğu geçmedi ve yirmi biri seansın ortasında bırakıldı. %16'lık bir geçme oranı yumuşak bir demo değil; çoğunlukla tutan bir çıtadır; zaten ölçmenin bütün amacı budur.
Ve bu sayfayı daha güçlü göstereceği hâlde öne sürmeyeceğimiz iddialar:
“Skorlar pratikle arttı.”
Net biçimde artmadı. Ortalamalar ilk denemeden ikinciye yükseldi (53 → 72), sonra geri düştü; tek bir kişide skorlar 79 puana kadar salındı. Bu, bir öğrenme eğrisi değil, deneme gibi görünüyor ve sekiz kişi, tek senaryoyla buna öğrenme eğrisi demeyeceğiz.
“Katılımcılar EVRE'ye 10 üzerinden X verdi.”
İsteğe bağlı deneyim anketini yalnızca bir katılımcı doldurdu. Bir yanıt bir puanlama değildir; bu yüzden memnuniyet puanı ve NPS yayınlamıyoruz.
“EVRE iş başındaki performansı artırdı.”
İş başında sonradan ne olduğunu değil, seansların içinde ne olduğunu ölçtük. İş başındaki sonuçlar üzerine kontrollü bir çalışma yoktu; bu yüzden böyle bir iddiada bulunamayız.
“İstatistiksel olarak anlamlı, kurum geneli sonuçlar.”
Sekiz kişi, tek senaryo, kontrol grubu yok, hacmin çoğunu sürükleyen tek bir yoğun kullanıcı. Bu, bir pilot kadar gerçek kullanım ve onu tam olarak öyle sunuyoruz.
Bütün defter bu. Zor bir senaryoda gerçek, sürdürülen, dürüstçe ölçülmüş kullanımın, süslenmiş bir sayıdan daha değerli olduğunu düşünüyoruz; çünkü bu sayfadaki her rakamı, sizin pilotunuzu nasıl raporlayacağımıza karşı denetleyebilirsiniz.
V.
Bu nereye gidiyor.
Bir pilotun işi; bir sonraki senaryoyu, bir sonraki grubu ve tek bir zor senaryonun veremeyeceği öncesi-sonrasını hak etmektir. Önümüzdeki iş bu: onların dünyasına özel daha çok senaryo, katılımın tek bir kişinin hikâyesi olmaması için daha geniş bir grup ve gerçekten doldurulan bir anket. Daha güçlü bir iddiayı hak edene kadar elimizdeki bu, dürüstçe ölçülmüş ve süslemeyeceğiz.
Kendi pilotunuz
Böyle raporlanan, böyle bir pilot ister misiniz?
Bağlamınıza bir senaryo kurarız, bir grubu karşısına koyarız ve ham kullanımı dürüst biçimde okunmuş olarak size veririz; tıpkı burada yaptığımız gibi.