Noindex
Noindex, bir sayfanın arama motoru dizinine eklenmemesini ve arama sonuçlarında gösterilmemesini bildiren yönergedir. Sayfanın `` bölümündeki robots meta etiketiyle veya `X-Robots-Tag` HTTP üst bilgisiyle iletilir. Google bu yönergeye uyar; yönergenin okunabilmesi için sayfanın robots.txt ile taramaya kapatılmamış olması ve yeniden taranması gerekir.
Teknik yapısı
Noindex iki biçimde uygulanır. HTML sayfalarında robots meta etiketi kullanılır:
<meta name="robots" content="noindex">Etiket yalnızca belirli bir tarayıcıya yönelik olarak da yazılabilir (<meta name="googlebot" content="noindex">). PDF, görsel ve video gibi HTML olmayan dosyalarda ise aynı yönerge sunucunun döndürdüğü HTTP yanıtında X-Robots-Tag: noindex üst bilgisiyle iletilir. Yönerge, nofollow, noarchive veya nosnippet gibi diğer robots yönergeleriyle virgülle ayrılarak birlikte kullanılabilir; none değeri noindex, nofollow birleşimine eşdeğerdir. Google açısından meta etiket ile HTTP üst bilgisi aynı etkiye sahiptir.
Robots.txt ile ilişkisi
Noindex ile robots.txt farklı işlevler üstlenir. Robots.txt bir adresin taranmasını engeller; noindex ise taranan sayfanın dizine eklenmemesini sağlar. Google, noindex yönergesini ancak sayfayı taradığında görebilir. Bu nedenle robots.txt ile taramaya kapatılmış bir sayfaya eklenen noindex etiketi okunamaz ve sayfa, başka sitelerden bağlantı aldığı takdirde içeriği olmadan dizinde yer almaya devam edebilir. Google, robots.txt dosyası içine yazılan noindex kuralını 2019’dan bu yana desteklememektedir. Noindex eklenen bir sayfa, Google sayfayı yeniden tarayıp yönergeyi işlediğinde arama sonuçlarından çıkarılır; çıkarılma, yeniden taramanın zamanına bağlı olarak gecikebilir.
Kullanım alanları
Noindex; site içi arama sonuç sayfaları, filtre ve sıralama kombinasyonları, teşekkür ve sipariş onay sayfaları, giriş ve hesap sayfaları, yayın öncesi test sayfaları, yalnızca reklam trafiğine yönelik kampanya sayfaları ve etiket arşivleri gibi arama sonuçlarında değer taşımayan sayfalar için kullanılır.
Noindex ile canonical etiketi farklı amaçlara hizmet eder. Canonical, yinelenen sürümlerin sinyallerini asıl sürümde birleştirir; noindex ise sayfayı dizin dışında tutar. Aynı sayfada hem noindex hem de başka bir adresi gösteren canonical etiketi bulunması çelişkili sinyal oluşturur.
WordPress sitelerinde “Ayarlar > Okuma” bölümündeki “Arama motorlarının bu siteyi dizine eklemesini engelle” seçeneği, sitenin tamamına noindex yönergesi ekler. Rank Math ve Yoast SEO gibi eklentiler ise sayfa, yazı türü ve arşiv bazında noindex ayarı sunar.
Ölçüm ve araçlar
Google Search Console’un “Sayfalar” raporu, “‘noindex’ etiketi tarafından hariç tutuldu” durumundaki adresleri listeler. URL Denetimi aracı tek bir sayfanın dizine ekleme iznini gösterir. Tarama araçları, site genelindeki noindex yönergelerini meta etiket ve HTTP üst bilgisi kaynaklarıyla birlikte raporlar.