Googlebot
Googlebot, Google Arama'nın web sayfalarını keşfetmek, indirmek ve dizine eklenmek üzere işlemek için kullandığı web tarayıcısının (crawler) genel adıdır. Mobil cihaz kullanıcısını taklit eden Googlebot Smartphone ve masaüstü kullanıcısını taklit eden Googlebot Desktop olmak üzere iki ana türü bulunur. Tarama davranışı robots.txt ile yönlendirilir.
Çalışma prensibi
Googlebot, daha önce bilinen adreslerden, sayfalardaki bağlantılardan ve gönderilen site haritalarından yeni adresler keşfeder. Keşfedilen adresler bir tarama kuyruğuna alınır ve tarama bütçesi doğrultusunda sırayla ziyaret edilir. Tarayıcı, sayfanın HTML kodunu ve sayfanın oluşturulması için gereken CSS, JavaScript ve görsel dosyalarını indirir. Google, JavaScript ile oluşturulan içeriği değerlendirebilmek için sayfayı Chromium tabanlı güncel bir oluşturma (rendering) hizmetiyle işler; bu oluşturma işlemi, taramadan sonraki ayrı bir aşamada gerçekleşebilir.
Google Arama için tarama yapılırken Googlebot, desteklenen dosya türlerinin ilk 2 MB’ını, PDF dosyalarının ise ilk 64 MB’ını tarar. Sınır sıkıştırılmamış veriye uygulanır; HTML’de başvurulan CSS ve JavaScript gibi kaynaklar ayrı ayrı indirilir ve her biri aynı sınıra tabidir.
Mobil öncelikli dizine ekleme
Google, mobil öncelikli dizine eklemeye (mobile-first indexing) geçişi tamamladığından sitelerin büyük çoğunluğu Googlebot Smartphone ile taranır ve dizine eklenir. Bu nedenle dizine eklenen ve sıralamada değerlendirilen içerik, sayfanın mobil cihazlarda sunulan sürümüdür. Mobil sürümde yer almayan metin, yapılandırılmış veri veya bağlantılar değerlendirmeye girmeyebilir; mobil ve masaüstü sürümlerin aynı içeriği sunması bu nedenle esastır.
Googlebot ve diğer Google tarayıcıları
Google, Googlebot dışında farklı ürünler için ayrı tarayıcılar kullanır: Googlebot Image, Googlebot Video, Google Ads açılış sayfalarını denetleyen AdsBot ve kullanıcının isteğiyle çalışan getiriciler (örneğin Google Site Verifier) bunlar arasındadır. Otomatik tarayıcıların robots.txt kuralları belgelenmiş kullanıcı aracısı (user agent) belirteçleriyle tanımlanır; Googlebot-News ayrı bir HTTP kullanıcı aracısı kullanmaz, kullanıcı tarafından tetiklenen getiriciler ise robots.txt kurallarını genellikle uygulamaz. Googlebot Smartphone ve Googlebot Desktop ise robots.txt’de aynı Googlebot belirtecini kullandığından bu dosyayla birbirinden ayrı hedeflenemez; iki tür, HTTP isteğindeki User-Agent üst bilgisinden ayırt edilir. Google-Extended ise ayrı bir tarayıcı değil, içeriğin Gemini modellerinde kullanımına ilişkin tercihin robots.txt’de bildirildiği bir ürün belirtecidir.
Kimlik doğrulama
Kullanıcı aracısı bilgisi kolayca taklit edilebildiğinden, “Googlebot” adını kullanan bir isteğin gerçekten Google’dan geldiği iki yöntemle doğrulanır: ters DNS sonucunun googlebot.com, google.com veya googleusercontent.com alan adına ait olduğunun ve ileri DNS sorgusunda başlangıç IP adresine döndüğünün birlikte doğrulanması ya da IP adresinin Google’ın JSON dosyaları olarak yayımladığı ilgili tarayıcı IP aralıklarıyla eşleştirilmesi.
Ölçüm ve araçlar
Google Search Console’daki Tarama İstatistikleri raporu, Googlebot türlerine göre istek sayısını, yanıt sürelerini ve yanıt kodlarını gösterir. URL Denetimi aracı, bir sayfanın Googlebot Smartphone tarafından nasıl oluşturulduğunu ekran görüntüsü ve oluşturulmuş HTML ile sunar. Sunucu erişim kayıtları, doğrulanmış Googlebot isteklerinin adres bazında analiz edilmesini sağlar.