Bağlam (context)
Bağlam (context), bir sözcüğün, sorgunun veya bilgi parçasının anlamını belirleyen dilsel ve durumsal ilişkiler bütünüdür. Arama motorlarında sorgudaki sözcüklerin birbirine göre anlamı, kullanıcının koşulları ve içeriğin çevresi bağlamı oluşturur. Büyük dil modellerinde bağlam, yanıt üretilirken işlenen talimatları, konuşma geçmişini ve kaynak metinleri kapsar.
Sorgu ve kullanıcı bağlamı
Sorgu bağlamı, arama ifadesindeki sözcüklerin birbiriyle kurduğu anlam ilişkilerini kapsar. Aynı sözcükler farklı dizilişler veya edatlarla farklı bilgi ihtiyaçlarını ifade edebilir. Arama niyeti (search intent), bu ilişkiler üzerinden yorumlanan bilgi ihtiyacıdır.
Google, 2019’daki BERT duyurusunda sözcüklerin önceki ve sonraki sözcüklerle birlikte değerlendirilmesinin önemini açıklamıştır. Duyurudaki “2019 brazil traveler to usa need a visa” sorgusunda “to” edatı, yolculuğun Brezilya’dan ABD’ye yöneldiğini belirtir. Google’a göre önceki sonuçlar ABD vatandaşlarının Brezilya seyahatine ilişkin bilgiler sunarken BERT ile seyahatin yönü doğru anlaşılmıştır. Bu örnekte bağlam, sözcükler arasındaki ilişkiden doğar.
Kullanıcı bağlamı ise sorgunun yapıldığı koşulları kapsar. Google’ın sonuçların nasıl oluşturulduğunu anlatan belgesine göre konum, dil, arama ayarları ve geçmiş arama etkinliği sonuçların kullanıcıyla ilgisinin değerlendirilmesinde rol oynar. Aynı sorgu farklı şehirlerde veya farklı dil ayarlarıyla yapıldığında farklı sonuçlar listelenebilir.
İçerik bağlamı ve varlık ilişkisi
İçerik bağlamı, bir ifadenin çevresindeki cümlelerin, bölüm başlıklarının ve birlikte geçen varlıkların oluşturduğu anlam çerçevesidir. Varlık (entity), anlatımın hangi kişi, kuruluş, yer veya kavram hakkında olduğunu belirtir; bağlam ise o varlığın hangi özelliğinin ya da ilişkisinin ele alındığını açıklar. Aynı varlık fiyatlandırma, kullanım veya mevzuat açısından farklı içeriklerin konusu olabilir.
Bağlantı metni (anchor text) ve bağlantının çevresindeki sözcükler de bu çerçevenin parçasıdır. Google’ın bağlantı uygulamaları belgesi, bağlantıdan önceki ve sonraki sözcüklerin de önem taşıdığını belirtir. Açıklayıcı bağlantı metni hem bulunduğu sayfayla hem hedef sayfayla ilişkili olduğunda bağlantının anlamı belirginleşir.
Bir sayfanın sitedeki konu bütünlüğü içindeki yeri de ilgili sayfalarla kurduğu iç bağlantılar üzerinden anlaşılır. Bir hizmet sayfası ile o hizmetin kavramlarını açıklayan sayfalar arasındaki bağlantılar, sayfa düzeyindeki anlatımı site düzeyindeki konu çerçevesine bağlar.
Büyük dil modellerinde bağlam penceresi
Büyük dil modeli (large language model, LLM) için bağlam, yanıt üretirken işlediği girdilerin tamamıdır. Bağlam penceresi (context window), modelin tek bir işlemde ele alabildiği metin miktarının token cinsinden sınırıdır. Token, metnin model tarafından işlenen sözcük veya sözcük parçası gibi birimlerinden biridir.
Erişimle desteklenmiş üretim (retrieval-augmented generation, RAG), dış kaynaklardan seçilen ilgili pasajları modelin bağlamına ekler. Bir pasajın konusunu, öznesini ve geçerli olduğu koşulları kendi içinde belirtmesi, kaynak sayfanın geri kalanı bağlamda bulunmadığında yorumlama belirsizliğini azaltabilir. Önceki paragrafa bağlı zamirler veya açıklanmayan kısaltmalar, tek başına getirilen bir parçanın yorumlanmasını güçleştirir.
Liu ve arkadaşlarının 2023 tarihli “Lost in the Middle” çalışması, incelenen modellerde ilgili bilginin bağlam içindeki konumunun başarımı etkilediğini göstermiştir. Deneylerde bilgi bağlamın başında veya sonunda yer aldığında başarım çoğunlukla daha yüksek, uzun bir bağlamın ortasında yer aldığında daha düşük bulunmuştur. Bu bulgu, bağlamın uzunluğu ile modelin bağlamdaki bilgiden yararlanma düzeyinin ayrı ölçütler olduğunu ortaya koyar.