Tarama bütçesi (crawl budget)
Tarama bütçesi (crawl budget), arama motoru tarayıcısının belirli bir sürede bir sitede tarayabildiği ve taramak istediği adres sayısıdır. Google'a göre tarama kapasitesi sınırı ve tarama talebi olmak üzere iki unsurun birleşiminden oluşur. Çok sayıda sayfası olan veya hızla büyüyen siteler için önem taşır.
Bileşenleri
Google, tarama bütçesini iki bileşenle açıklar:
- Tarama kapasitesi sınırı (crawl capacity limit): Googlebot’un sunucuyu yormadan aynı anda kurabileceği bağlantı sayısı ve istekler arasındaki bekleme süresi. Sunucu hızlı ve kararlı yanıt verdikçe sınır artar; yanıtlar yavaşladığında, sunucu hataları (5xx) veya 429 (Too Many Requests) yanıtları arttığında sınır düşürülür.
- Tarama talebi (crawl demand): Google’ın siteyi ne kadar taramak istediği. Adreslerin popülerliği, içeriğin ne sıklıkla değiştiği ve site taşıma gibi olaylar talebi belirler.
Tarama bütçesi, bu iki bileşen dikkate alınarak Googlebot’un taramaya ayırdığı adres kümesidir. Tarama talebi düşük olduğunda Google, kapasite sınırına ulaşmadan da daha az tarama yapar. Google’ın tarama altyapısı farklı ana makine adlarını (örneğin ornek.com ve blog.ornek.com) ayrı siteler olarak değerlendirir ve her birine ayrı tarama bütçesi ayırır.
Site ölçeği ve tarama gereksinimi
Google’ın kılavuzu kesin eşikler değil örnekler vermekle birlikte, tarama bütçesinin; yaklaşık bir milyonun üzerinde benzersiz sayfaya sahip büyük siteler, içeriği günlük değişen orta ölçekli siteler (yaklaşık on binin üzerinde sayfa) ve Search Console’da çok sayıda adresi “Keşfedildi, şu anda dizine eklenmedi” durumunda görünen siteler için yönetilmesi gereken bir konu olduğunu belirtir. Sayfa sayısı az olan ve yeni sayfaları kısa sürede taranan sitelerde tarama bütçesi belirleyici bir etken değildir.
Tarama bütçesini etkileyen unsurlar
Taranacak adres sayısı ve taramanın hangi sayfalara yöneldiği şu unsurlarla ilişkilidir:
- Değersiz adreslerin sınırlandırılması: Sınırsız sayıda adres üreten filtre ve sıralama parametreleri, oturum kimlikli adresler ve site içi arama sonuçları robots.txt ile taramaya kapatılır.
- Yinelenen içeriğin azaltılması: Aynı içeriğin farklı adreslerde sunulması önlenir ve canonical bildirimleri tutarlı tutulur.
- Yanıt kodlarının düzenlenmesi: Kalıcı olarak kaldırılan sayfalar 404 veya 410 döndürür; yönlendirme zincirleri tek adıma indirilir.
- Sunucu performansı: Hızlı yanıt veren sunucu, tarama kapasitesi sınırını artırır.
- Güncel site haritası: XML site haritası yalnızca dizine eklenmesi istenen kanonik adresleri içerir ve
lastmoddeğeri gerçek değişiklikleri yansıtır.
Noindex etiketi taramayı engellemez; noindex taşıyan bir sayfa yine taranır. Tarama bütçesinin korunması amaçlandığında taramayı engelleyen yöntem robots.txt’dir.
Ölçüm ve araçlar
Google Search Console’daki Tarama İstatistikleri (Crawl Stats) raporu; günlük tarama isteği sayısını, indirilen veri miktarını, ortalama yanıt süresini, yanıt kodlarının dağılımını ve tarama amacını gösterir. Sunucu erişim kayıtlarının (log) analizi, Googlebot’un hangi adreslere ne sıklıkla eriştiğini en ayrıntılı biçimde ortaya koyar.