Bülten #19: Nicel Kullanıcı Araştırmaları

Bültene hoş geldin 👋

Geçtiğimiz sayı kullanıcı araştırmaları konusuna genel bir giriş yapıp, “nitel” kullanıcı araştırmalarının ne olduklarına, faydalarına/zorluklarına ve bu tip araştırmaları yaparken nelere dikkat edilebileceğine yer vermiştik. Bu sayıda da “nicel” araştırmalar üzerine duralım, benzer açılardan konuyu inceleyelim ve kullanıcı araştırmaları konusunu tamamlayalım istedik.

👉Bu sayıya başlamadan önce “Nitel Kullanıcı Araştırmaları” sayısına bir göz gezdirmenizi tavsiye ediyorum. Şuradan ulaşabilirsiniz.

İyi internetler,
Burcu

Hatırlatma: Üretim Bandı Slack! 🎉

Slack’te her geçen gün daha aktifiz: Podcast bölümlerini ilk elden Slack’ten duyuruyoruz, üyelerimiz de ilk elden iş ilanlarını buradan paylaşıyor. Üyelere özel webinarlara da başladık! Ürün geliştirmeyle alakalı birçok konuda sorular sorup cevaplar alabildiğimiz bir platform olma yolundayız, soruların veya bildiğin konularda topluluğa katkı sağlayabilecek cevapların için bekliyoruz:

Slack Grubumuza Katıl

Nicel Kullanıcı Araştırmaları

1. Nedir?

2. Faydaları ve zorlukları

3. Nereden başlanır ve nelere dikkat edilmeli?

4. Yararlı kaynaklar

1. Nedir?

Bir önceki sayımızda kullanıcı araştırması kavramını incelemiş, hangi amaçlarla yapılabileceğini değerlendirip, hangi amaca göre ne tip metodlarla araştırma yapmanın yerinde olacağından bahsetmiştik. Tekrara düşmemek için bu sayıda bu kısımları çok kısa özetleyip, nicel kullanıcı araştırmaları özelinde ilerlemeyi uygun buldum.

Nicel kullanıcı araştırmaları (quantitative user research), kullanıcı davranışları ya da güdüleri hakkında sayısal veriler edinmek için yapılıyor. Elde edilen sayısal verilerin amacı kullanıcıların belirli konulardaki yönelimlerini bir veri setine çevirmek ve yorumlamak. Yani kullanıcıların anlamaya çalıştığımız eylemleri ya da söylemleri ne kadar, ne sıklıkla, en çok nerelerde yaptıklarını anlamak istiyorsak nicel, bu eylemleri ve söylemleri niye yaptıklarını ve nasıl çözümler üretebileceğimizi anlamak istiyorsak da nitel araştırmalara yönelmemiz öneriliyor.

Nicel kullanıcı araştırmalarına en bilinen örnekler NPS ve anketler, A/B testler, fake door testi ve nicel kullanılabilirlik testleri. Dönüşüm oranı hesaplarken ya da belirli bir KPI özelinde kullanıcı davranışı ölçümlenirken de aslında yapılan sayısal veriler toplamak ve anlamlandırmak olduğundan, her türlü analitik ölçümleme eforu da nicel araştırma olarak sayılıyor.

A/B testlerin ya da fake door testlerinin mantığı genel olarak “tek bir değişken değiştiğinde kullanıcılar bunu nasıl karşılıyor” sorusunu cevaplayabilmek oluyor. “Bir butonun iki varyasyonundan hangisi beklenen çıktıyı daha çok üretiyor” ya da “bir özelliğe kullanıcıların ne kadarı ilgi gösterecek” gibi konularda büyük kullanıcı havuzlarına danışıp hızlı bir şekilde aksiyon alınabilir geri bildirim toplamak, bire bir görüşmeler yapmak ve nicel olmayan verilerle karar almaya çalışmaktan çok daha pratik oluyor.

Nicel kullanılabilirlik testleriyse daha çok yeni bir ürünü ya da özelliği çıkarmadan önce ürünün prototipi üzerinden yapılan bir araştırma şekli. Bu araştırmada kullanıcılara yapmaları gereken işlemlerin bir listesi veriliyor ve her bir işlemi ne kadar sürede yapabiliyor ya da ne kadarını başarılı olarak tamamlayabiliyor gibi veriler ölçümleniyor. Belirli periyotlarla bu testler yapıldığında ürünün genel deneyimi zaman içinde iyiye mi gidiyor kötüye mi, anlamak oldukça kolaylaşıyor. Kullanıcılardan sektördeki benzer ürünler için de aynı işlemleri yapmalarını isteyip bu verileri toplayarak karşılaştırmak ise kullanılabilirlik üzerine sektörel bir kıyaslama yapmaya yarıyor.

Kapalı uçlu sorular sorulan anketler tüm bu testlerden biraz daha ayrışıp öğrenmeye çalıştığımız spesifik konu hakkında genel ve veri destekli cevaplar edinmemize yarıyor. Üründeki hangi problemlere odaklanmalıyız, hangi probleme hangi sırada öncelik vermeliyiz, kullanıcılar üründen ya da yeni çıkan bir özellikten ne kadar memnun, yeni bir ürün ya da özellik geliştiriyorsak buna ne kadar bir fiyatlandırma yapmak uygun olur gibi bir sürü soruya cevap olarak anketler en yaygın araçlar. Net Promoter Score yani NPS özelinde bu konu daha da basit: Kullanıcıya ürünü bir başka tanıdığı kişiye tavsiye etme ihtimali soruluyor ve cevap olarak 1-10 arası bir puan alınarak bu ihtimalin gücü anlaşılıyor.

2. Faydaları ve zorlukları

Nicel kullanıcı araştırmaları yapmanın çok belirgin faydaları olduğu gibi zorlukları da var. Bunları şöyle derledik:

Faydaları

• Merak edilen konu hakkında kullanıcılara kolayca ulaşılıp hızlıca sonuç alınabiliyor.

• Veriyle sonuçlanan araştırmalar sayesinde karar alma mekanizmalarında tarafsız ve bilişsel önyargılardan uzak bir bilgi kaynağı edinilmiş oluyor. Özellikle önceliklendirme süreçleri gibi çetrefilli ve tarafları aynı yönde düşünmeye sevk etmenin zorlu olduğu konularda ilgili verilere sahip olmanın rahatlığı su götürmez bir gerçek.

• Ürün geliştirme gibi otoriteye başvurmadan etkili bir yönetim gerektiren rollerde kişisel fikirler yerine veriler üzerinden çıkarım yapmak, ekibin güvenini kazanmak adına oldukça faydalı oluyor.

• Veriler kullanıcılar ya da potansiyel kullanıcılar tarafından sağlandığından, kullanıcı odaklı ürün geliştirmek ve ekipleri ilgili konuya kaynak ayırmaya yönlendirmek oldukça kolaylaşıyor.

• Araştırma çıktılarından yeni araştırmalar yapmaya teşvik eden yeni sorular ve meraklar ortaya çıkabiliyor.

Zorlukları

• İstatistiksel olarak anlamlı bir katılımcı sayısına ulaşabilmek için kullanıcı havuzunun da belirli bir sayıyı aşmış olması gerekiyor.

• Bu sayının yanında araştırma yapılan kitlenin cevap aradığımız konuya uygun bir dağılıma sahip olması gerekiyor. Ürünün spesifik bir kısmıyla alakalı bir araştırmayı tüm kullanıcılara ulaşarak yapmak, ya da ürünün geneliyle alakalı öğrenmek istenilen bir konuda yapılan araştırmayı belirli bir örüntüye sahip kullanıcılar özelinde yapmak, sonuçları çok farklı yerlere yönlendirebilir.

• Veri işleme konusuna yeterli düzeyde vakıf olunmadığında veriler yanlış yönde ya da eksik yorumlanabilir. Keşfedilmeye hazır bekleyen veriler arası örüntüler gömülü kalabilir ve çok daha zengin çıkarımlar yapılabilecekken daha yüzeysel bir sonuçlanmaya gidilebilir. Tam tersi bir yaklaşımla birbiriyle alakasız verileri ilişkilendirmek de yanlış çıkarımlara yol açabilir.

• Nitel araştırmaların açık uçlu yapısından farklı olarak kapalı uçlu ve hali hazırda sağlanan cevaplar arasından seçim yapılması, sonuçları nitel araştırmalara nazaran daha limitli hale getiriyor.

• Anket ve benzeri davranış odaklı olmayan araştırma yöntemlerinde kullanıcılar düşündüklerinden ya da yaptıklarından farklı cevaplar verebiliyor. Kullanıcıların o sıradaki duygu durumları dahi cevaplarını önemli ölçüde etkileyebiliyor ve sonuç olarak araştırma sonuçları gerçeği göstermekten uzaklaşabiliyor.

3. Nereden başlanır ve nelere dikkat edilmeli?

• Problemi/ihtiyacı netleştirmek: İlk olarak hakkında veri toplamak istediğimiz problemleri ya da ihtiyaçları netleştirmek veya bir şey öğrenmeye çalışıyorsak da ne öğrenmek istiyoruz belirlemek gerekiyor. Bunlardan hareketle istediğimiz konuda cevaplar alabileceğimiz soruları netleştirebiliriz. Sürece direkt olarak soracağımız soruları netleştirerek başlamak sonunda kullanamayacağımız cevaplara yol açabiliyor.

• Soruları/adımları netleştirmek: Neye cevap aradığımızı belirledikten sonra bu cevaplara ulaşmayı sağlayacak soru konseptlerini ve devamında soruları belirlemek gerekiyor. Bu aşamada bu sorulara verilen cevaplar/alınan aksiyonlar toplanıp raporlandığında nasıl görüneceğinin de üzerinde durulursa, eksik ya da farklılaştırılabilecek sorular da su yüzüne çıkıyor.

  • “Response bias” soruları oluştururken dikkate almamız gereken bir yönelim. Şu yazıyı bu konuda faydalı buldum.

• Araştırmayı planlamak:

  • Araştırmayı ürünün içinde mi, email üzerinden mi, araştırma tipine göre özelleşmiş bir başka ürünü kullanarak mı, seçenekleri belirleyip, ihtiyaca uygun çözümle ilerlemek gerekiyor.

  • Araştırmayı kimlerle yapacağımızı belirlemek gerekiyor. Mevcut kullanıcılar, potansiyel kullanıcılar, churn etmiş kullanıcılar, yeni gelmiş kullanıcılar, benzer ürünleri kullanan kullanıcılar gibi gruplamalar, ya da üründe belirli aksiyonları almış, belirli özellikleri olan kullanıcılardan oluşan gruplamalar bunlara örnek olabilir. Kriterleri belirlemek ve karşılığında anlamlı bir sayıya ulaşılabiliyor mu bakmak ve anlamlı sayıya ulaşacak şekilde kriterleri düzenlemek gerekli olabilir.

  • Araştırmayı zaman ekseninde planlamak ve ne zaman başlanacağını, hangi aralıklarla devam edeceğini ve ne kadar süreceğini kararlaştırmak gerekiyor. Organizasyonun bir kullanıcı iletişim takvimi varsa bu takvime göre hareket etmek, yoksa da diğer departmanlarla iletişip takviminizi öyle kesinleştirmek en doğrusu, çünkü aynı anda birçok koldan farklı konularda fikir sorulan bir kullanıcı takdir edersiniz ki durumdan memnun olmayacak ve belki de ona artık ulaşmamanızı isteyecektir.

• Araştırmanın amacını netleştirip, içeriğine ve planına da karar verdikten sonra sıra araştırmayı yapmaya geliyor. Bu adımda araştırma beklenen şekilde sürüyor mu takip etmek, olası hatalara ya da problemlere hazırlıklı olup hızlıca aksiyon alabilmek gerekiyor. Eğer araştırma çok büyük bir kullanıcı havuzuna yapılacaksa, bu havuzun içinden daha küçük bir ön grubu seçip araştırmayı test etmek ve ortak sorunları tespit edip araştırma planını iyileştirerek daha sonra tüm havuza açmak daha makul olabilir.

• Araştırma tamamlandıktan sonra elde edilen sonuçları analiz ederek anlamlı bilgilere dönüştürmek gerekiyor. Bu adımda istatistiksel analiz ve görselleştirme teknikleri önemli bir ihtiyaç ve zorunluluk.

• Elde edilen anlamlı bilgiler üzerinden çıkarımlar ve sonuçlandırmalar yapmak bir sonraki adım. Araştırmanın başında hedeflenen bilgilere ulaşıldı mı, beklenmedik örüntüler gözlemlendi mi, belirli cevaplar ya da belirli kullanıcı alt grupları arasında nasıl ilişkiler ortaya çıktı gibi sorulara cevaplar bulmak gerekiyor.

• Yapılan bu çıkarım ve sonuçlandırmaları ilgili herkesin anlayabileceği bir formatta belgelemek ve çıktıları özetleyerek sonraki adımlarla alakalı öneriler sunmak gerekiyor. Ekip içinde bir değerlendirme görüşmesi yapılarak rapor ve süreçle alakalı soruları cevaplamak ve bir yol haritası çizmek için atılacak adımları kararlaştırmak, iyi bir kapanış olarak görülüyor.

4. Yararlı Kaynaklar

• Üretim Bandı Topluluk Konuşmaları #1 – Can Ülker: A/B Testing ve Veri Odaklı Ürün Geliştirme – Link – Değerli topluluk üyemiz Can Ülker, Booking.com’da deneyimlediği nicel kullanıcı araştırmaları üzerine konuşuyor.

• How Quantitative UX Research Differs from Data Analytics – Link – Facebook Research ekibinden nicel kullanıcı araştırmaları ve veri analitiğinin farkları.

• Why Data Science and UX Research Teams are Better Together – Link – User Testing’in VP of Product and Design’ı Chris Abad, kendi Product Insights ekibinden yola çıkarak konuyla ilgili içgörülerini paylaşmış.

• Statistical Bias Types explained (with examples) – part 1 – Link – İstatistiksel önyargı tiplerinin en önemlileri, örneklerle açıklanmış.

• What does statistically significant mean? – Link – “İstatistiksel olarak anlamlı” kavramı açıklanmış, örneklenmiş ve nasıl o noktaya ulaşılacağı paylaşılmış.

Üretim Bandı Podcast 🎙

• Seda Elibol – Delivery Hero nasıl ürün geliştiriyor? – Buradan dinleyin

• Clubhouse: Eren Çamlıkaya ile Ekip Organizasyon Kurguları – Buradan dinleyin

İş İlanları

Tüm aktif ilanları görmek, ilk elden ilanı paylaşan üyelerimize ulaşmak ya da yeni bir ilan paylaşmak için Slack grubumuza katılın!

Bu sayılık bu kadar!

Bizi seveceğini düşündüğünüz birileri varsa, aşağıdaki butonu kullanarak haberdar edebilirsiniz:

Share Üretim Bandı Bülten