Robots.txt nedir? | Peaktimize Sözlük

Çalışma prensibi

Googlebot ve benzeri tarayıcılar bir siteyi taramadan önce alanadi.com/robots.txt adresindeki dosyayı okur. Dosya, kullanıcı aracısı (User-agent) adı verilen tarayıcı tanımları ve bu tarayıcılar için geçerli izin (Allow) ve engelleme (Disallow) kurallarından oluşur:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://ornek.com/sitemap_index.xml

Bu örnekte tüm tarayıcılar için yönetim paneli taramaya kapatılmış, panelin işlevsel bir dosyası hariç tutulmuş ve XML site haritasının adresi bildirilmiştir. Google, birden fazla kural aynı adresle eşleştiğinde en özgül (en uzun) yol eşleşmesini uygular; eşit özgüllükteki izin ve engelleme kurallarında izin kuralı geçerli olur. Yol eşleşmeleri büyük-küçük harfe duyarlıdır.

Dosya, yalnızca bulunduğu protokol, sunucu adı ve port birleşimi için geçerlidir. ornek.com ile blog.ornek.com veya HTTP ile HTTPS sürümleri ayrı robots.txt dosyalarıyla yönetilir; alt dizine konan bir robots.txt dosyası ise dikkate alınmaz. Robots Exclusion Protocol, 2022’de RFC 9309 numarasıyla İnternet standardı olarak yayımlanmıştır. Kurallar bağlayıcı değildir; yaygın arama motorları bu kurallara uyar, ancak kötü niyetli tarayıcılar dosyayı yok sayabilir.

Kullanım alanları

Robots.txt, tarama kaynaklarının sitenin değerli bölümlerine yönlendirilmesi amacıyla kullanılır. Büyük sitelerde filtre ve sıralama parametreleri, site içi arama sonuçları, sepet ve ödeme adımları gibi sınırsız sayıda adres üretebilen bölümler taramaya kapatılarak tarama bütçesi (crawl budget) korunur. Dosya ayrıca XML site haritasının konumunu bildirmek için standart bir yer sunar.

Dizine eklemeyle ilişkisi

Robots.txt yalnızca taramayı düzenler. Taramaya kapatılan bir sayfa, başka sitelerden bağlantı aldığı takdirde Google tarafından içeriği okunmadan da dizine eklenebilir ve sonuçlarda açıklamasız biçimde görünebilir. Bir sayfanın arama sonuçlarında yer almaması için kullanılan yöntem noindex meta etiketi veya X-Robots-Tag üst bilgisidir. Bu yöntemin işlemesi için sayfanın taranabilir olması gerekir; robots.txt ile engellenen bir sayfadaki noindex etiketi tarayıcı tarafından görülemez. Robots.txt dosyasına yazılan noindex satırı ise Google tarafından desteklenmez.

Sayfaların doğru değerlendirilebilmesi için CSS ve JavaScript dosyalarının taramaya açık olması gerekir; Google sayfaları bir tarayıcı gibi işleyerek değerlendirir. Robots.txt herkese açık bir dosya olduğundan gizli içeriğin korunması için uygun bir yöntem değildir; erişim kısıtlaması parola veya sunucu yetkilendirmesiyle sağlanır.

AI tarayıcılarıyla ilişkisi

Robots.txt, yapay zeka şirketlerinin tarayıcılarına yönelik kuralların tanımlandığı yer olarak da kullanılır; ancak belirteçlerin kapsamları birbirinden farklıdır. OpenAI’ın GPTBot’u, bu şirketin modellerinin eğitiminde kullanılabilecek içeriği toplayan tarayıcıdır. Google-Extended ise ayrı bir tarayıcı değil, Google’ın Gemini modellerinin eğitimi ve belgelenen bazı kaynaklandırma kullanımları için tanımladığı bir ürün belirtecidir; Google Arama’ya ve AI Overviews’a dahil olmayı etkilemez, bu alanlardaki tarama Googlebot kurallarıyla yönetilir. Bu belirteçlere ilişkin kararlar, içeriğin yapay zeka sistemlerinde kullanımına dair tercihler olduğundan üretken motor optimizasyonu (Generative Engine Optimization, GEO) stratejisinin parçası olarak değerlendirilir.

Ölçüm ve araçlar

Google Search Console’daki robots.txt raporu, Google’ın dosyayı en son ne zaman okuduğunu ve ayrıştırma sırasında oluşan hataları gösterir. Belirli bir adresin engellenip engellenmediği URL Denetimi aracıyla kontrol edilir. Tarama araçları da robots.txt kurallarını uygulayarak hangi adreslerin engellendiğini toplu olarak raporlar.