A/B testi
A/B testi (bölünmüş test, split test), bir web sayfasının, reklamın veya e-postanın iki farklı sürümünü kullanıcılara rastgele dağıtarak hangisinin önceden belirlenen hedefte daha iyi sonuç verdiğini ölçen kontrollü deney yöntemidir. Sonuçlar istatistiksel anlamlılık ölçütüyle değerlendirilir. Dönüşüm oranı optimizasyonunun temel aracıdır.
Çalışma prensibi
A/B testinde mevcut sürüm (kontrol, A) ile değiştirilmiş sürüm (varyant, B) aynı dönemde yayına alınır. Tek bir öğenin değiştirilmesi, ölçülen etkinin o öğeye bağlanmasını kolaylaştırır; birden fazla öğe birlikte değiştiğinde ölçülen etki değişikliklerin bütününe aittir. Kullanıcılar rastgele olarak iki gruba ayrılır ve her grup yalnızca bir sürümü görür. Test süresince her iki grubun dönüşüm oranı, tıklama oranı veya ortalama sipariş değeri gibi önceden belirlenmiş birincil metrikteki performansı ölçülür.
Rastgele atama, gruplar arasındaki sistematik farklılıkları azaltarak test edilen değişikliğin etkisinin tahmin edilmesini destekler. Aynı dönemde yürütülmesi ise mevsimsellik, kampanya dönemleri ve haftanın günü gibi dış etkenlerin iki gruba eşit biçimde yansımasını sağlar. Ardışık dönemlerin karşılaştırılması (önce A, sonra B) bu koşulu karşılamadığından A/B testi niteliği taşımaz.
İstatistiksel değerlendirme
Sıklıkçı (frequentist) değerlendirmede p-değeri, sıfır hipotezi ve test varsayımları altında gözlenen kadar veya daha uç bir sonucun ortaya çıkma olasılığıdır; karar, önceden belirlenen anlamlılık eşiği, etki büyüklüğü ve güven aralığı birlikte değerlendirilerek verilir. Uygulamada anlamlılık eşiği çoğunlukla yüzde 5 (yüzde 95 güven düzeyi) olarak belirlenir. Testin güvenilir sonuç vermesi için yeterli örneklem büyüklüğüne ulaşılması gerekir; gerekli örneklem, mevcut dönüşüm oranına ve tespit edilmek istenen en küçük etki büyüklüğüne göre test başlamadan hesaplanır. Testin amacı ve beklenen etkisi, başlamadan önce bir hipotez ve bir veya iki birincil metrik olarak tanımlanır; test sürerken sürümlerde değişiklik yapılması sonuçların yorumlanmasını güçleştirir. Sonuçlara test bitmeden sürekli bakılarak erken karar verilmesi, yanlış pozitif sonuç olasılığını artırır. Test süresinin en az bir veya iki tam haftayı kapsaması, haftalık davranış döngülerinin sonuca yansımasını sağlar.
Türleri ve kullanım alanları
- A/B testi: İki sürümün rastgele atanmış gruplarda karşılaştırılması.
- A/B/n testi: İkiden fazla sürümün aynı anda karşılaştırılması.
- Çok değişkenli test (multivariate test): Birden fazla öğenin farklı kombinasyonlarının birlikte test edilmesi; daha yüksek trafik gerektirir.
Açılış sayfalarında başlık, görsel, form uzunluğu ve eylem çağrısı; reklamlarda metin ve görsel; e-postalarda konu satırı ve gönderim saati sık test edilen değişkenlerdir.
Ölçüm ve araçlar
Google Ads’in Deneyler bölümü; açılış sayfaları, teklif stratejileri, anahtar kelime eşleme türleri ve reklam varyasyonları için bölünmüş test yapılmasını sağlar. Arama Ağı deneylerinde çerez temelli bölme, aynı kullanıcının yalnızca özgün kampanyayı veya yalnızca deneyi görmesini sağlar; Google dengeli bir karşılaştırma için yüzde 50 deney payı önerir. Meta Reklam Yöneticisi’nde A/B testi özelliği bulunur. Web sitesi testleri için Optimizely, VWO ve AB Tasty gibi platformlar kullanılır; Google Optimize ise 30 Eylül 2023’te kullanımdan kaldırılmıştır.