Retrieval (bilgi erişimi)
Retrieval (bilgi erişimi), bir sorguya karşılık büyük bir belge kümesinden ilgili belgelerin veya pasajların bulunup sıralanması sürecidir. Arama motorlarının temel işlevidir. Büyük dil modellerine dayalı arama sistemlerinde yanıt üretiminden önce gelen aşamadır; yanıtta kaynak gösterilen sayfalar bu aşamada getirilen içerikler arasından seçilir.
Bilgi erişiminin çalışma prensibi
Bilgi erişimi (information retrieval), bir bilgi ihtiyacını karşılayan içeriğin büyük koleksiyonlar içinden bulunmasını inceleyen alandır. Web araması, kurumsal belge araması ve soru yanıtlama sistemleri bu işleve dayanır.
Süreç dizinleme (indexing) ile başlar: belgeler ve metin parçaları aramaya uygun veri yapılarına dönüştürülür. Sözcük temelli erişimde ters dizin (inverted index) terimleri geçtikleri belgelerle eşleştirir; BM25 gibi yöntemler sorgu terimlerinin belgedeki sıklığını, koleksiyondaki yaygınlığını ve belge uzunluğunu değerlendirerek sıralama yapar. Anlamsal erişimde ise sorgu ve metinler anlam ilişkilerini temsil eden sayısal vektörlere (embedding) dönüştürülür; yoğun erişim (dense retrieval) bu vektörlerin benzerliği üzerinden aynı sözcükleri içermeyen ilgili metinleri de bulabilir. İlk aşamada bulunan adaylar çoğu sistemde yeniden sıralama (reranking) ile ikinci kez değerlendirilir.
Erişim, üretim ve kaynak gösterilme sırası
Erişimle desteklenmiş üretim (retrieval-augmented generation, RAG), bilgi erişimini metin üretimiyle birleştiren yaklaşımdır ve Lewis ve arkadaşlarının 2020 tarihli makalesinde tanımlanmıştır. Bu yaklaşımda sistem önce sorguyla ilgili pasajları getirir, bu pasajları büyük dil modelinin bağlamına ekler ve model yanıtı bu içeriğe dayanarak üretir. Yaklaşımı kullanan yapay zeka arama ürünleri, yanıtta kullanılan içeriklerin kaynaklarını ayrıca bağlantıyla gösterir.
Bu sıra, kaynak gösterilmenin (citation) ön koşulunu da tanımlar: Bir sayfanın yanıtta kaynak olarak yer alabilmesi için önce erişim aşamasında getirilmesi gerekir. İçeriğin getirilme yöntemi sisteme göre değişir: Google’ın AI özelliklerinde destekleyici bağlantı olarak gösterilecek sayfanın Google Arama dizininde bulunması gerekir; OpenAI ise ChatGPT’nin arama özelliği için OAI-SearchBot adlı tarayıcıyı tanımlar.
Google Search Central belgelerine göre AI Overviews ve AI Mode, bir sorguyu alt konulara ayırarak ilişkili birden fazla arama yürüten sorgu yayılımı (query fan-out) yöntemini kullanabilir. Bu nedenle tek bir soru için farklı alt sorgulara karşılık gelen sayfalar birlikte getirilebilir.
Pasaj düzeyinde erişimin içerik açısından etkisi
Erişim birçok sistemde sayfanın tamamı yerine pasaj düzeyinde çalışabilir. Bir bölümün konusu, tanımladığı kavram ve ileri sürdüğü iddianın koşulları kendi içinde anlaşılır olduğunda, metin sayfanın geri kalanından ayrıldığında da anlamını korur. Başlıkla uyumlu açıklamalar, açık özne kullanımı ve koşulların aynı pasajda yer alması bu bütünlüğü destekler.
Google’ın “AI features and your website” belgesi, bu özelliklerde destekleyici bağlantı olarak gösterilebilmek için sayfanın dizine eklenmiş ve Google Arama’da metin özeti (snippet) gösterimine uygun olmasını koşul olarak sayar ve bunların dışında ek bir teknik gereklilik tanımlamaz.
Kaynaklar
- Manning, Raghavan ve Schütze: Introduction to Information Retrieval
- Lewis ve arkadaşları: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Karpukhin ve arkadaşları: Dense Passage Retrieval for Open-Domain Question Answering
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI Crawlers