Reranker Nedir?

Reranker arama sisteminde ne yapar?

Reranker, bir arama veya yapay zeka cevap sisteminin ilk erişim aşamasında bulduğu aday belgeleri tek tek soruyla birlikte yeniden okuyup sıralamayı düzelten modeldir. İlk aşama hızlı ve kaba çalışır, ikinci aşama yavaş ve dikkatli çalışır. Sistem, pahalı olan dikkatli okumayı milyonlarca belgeye değil yalnızca kısa listeye harcar.

Hattın işleyişi şudur. Kullanıcı sorusu gelir, ilk erişim katmanı indeksten bir aday havuzu çıkarır, reranker bu havuzdaki her adayı soruya uygunluğa göre yeniden puanlar, en yüksek puanlı birkaç pasaj cevabın kaynağı olur. Bu katmanın en önemli sınırı şudur: kendisine verilmeyen belgeyi bulamaz. Microsoft'un Azure AI Search belgelerinde bu sınır açık biçimde yazılıdır, semantik sıralayıcı sorguyu koleksiyonun tamamı üzerinde yeniden çalıştırmaz, yalnızca eldeki sonuç kümesini yeniden sıralar.

Bu yüzden yeniden sıralama, generative engine optimization tarafında konuşulan alıntılanma zincirinin tam ortasında durur. Aday havuzuna girmek bir aşamadır, o havuzdan seçilmek ayrı bir aşamadır ve ikisinin başarısızlık nedenleri de birbirinden farklıdır.

Neden her belge tek tek okunamıyor?

Dikkatli okuma modelinin maliyeti belge sayısıyla birlikte artar. Soruyu ve belgeyi birlikte işleyen bir model, her soru ve belge çifti için ayrı bir hesaplama yapmak zorundadır. Yüz milyonlarca sayfalık bir indekste bu hesabı canlı sorgu anında yapmak mümkün değildir. Buna karşılık ilk erişim modelleri belge tarafını önceden hazırlar, sorgu geldiğinde yalnızca hazır sayıları karşılaştırır ve milisaniyeler içinde cevap döner.

İki aşamalı kurgunun ne kadar fark ettiği ölçülebilir bir konudur. Bilgi erişimi literatüründe sık kullanılan MS MARCO pasaj sıralama veri setinde, ayarlanmış bir BM25 kelime eşleştirme yöntemi MRR@10 metriğinde 15,3 seviyesinde kalırken, aynı BM25 sonuçlarının üzerine BERT tabanlı bir yeniden sıralayıcı eklenmesi bu değeri 35,8 seviyesine taşımıştır. Bu sonuç belirli bir veri setine ve belirli bir metriğe aittir, Google'ın veya başka bir motorun canlı sistemindeki kazancın ölçüsü değildir. Ancak yeniden sıralama katmanının neden vazgeçilmez sayıldığını iyi gösterir.

Aynı çalışmada yeniden sıralayıcıya BM25'in getirdiği ilk bin pasaj verilmiştir. Buradan çıkan ikinci sonuç birincisinden daha önemlidir. Doğru pasaj o bin adayın içinde değilse yeniden sıralama onu kurtaramaz. İkinci aşama tavanı, birinci aşamanın yakaladığı belge kümesiyle sabitlenmiştir.

Bi-encoder ile cross-encoder arasındaki fark

Bi-encoder, soruyu ve belgeyi birbirinden bağımsız biçimde sayı dizilerine çevirir. Belge dizileri önceden hesaplanıp indekslenebildiği için sorgu anında yapılacak iş yalnızca iki dizinin karşılaştırılmasıdır. Kolay ölçeklenir, buna karşılık soru ile belge arasındaki ince ilişkileri göremez, çünkü model belgeyi işlerken sorunun ne olduğunu bilmemektedir.

Cross-encoder ise soruyu ve pasajı tek bir metin gibi birlikte modele verir. Model kelime düzeyinde iki taraf arasında bağ kurar ve çıktı olarak tek bir uygunluk puanı üretir. Ayrı bir belge vektörü üretmediği için önceden indekslenemez, bu da onu ilk erişim için kullanışsız, yeniden sıralama için ise güçlü kılar. Sentence Transformers belgelerinde bu ayrım doğrudan bir tasarım tavsiyesine bağlanır, önce bi-encoder ile yaklaşık yüz aday çekilir, sonra cross-encoder bu adayları yeniden puanlar.

Arada duran yaklaşımlar da vardır. Geç etkileşim mimarisi belge tarafını kelime düzeyinde önceden hesaplayıp sorgu kelimeleriyle eşleştirir ve iki dünyanın ortasında bir denge kurar. Daha yeni bir hat ise aday listesini topluca bir dil modeline verip sıralamayı doğrudan modele ürettirir. Bu başlıkların kısa karşılıklarını yapay zeka ve SEO sözlüğünde bir arada bulmak mümkündür.

Reranker sayfanın ne kadarını okuyor?

Google Search'ün iç eşikleri açıklanmamıştır. Buna karşılık aynı mimariyi satan ürünlerin teknik dokümantasyonu kamuya açıktır ve yeniden sıralamanın nasıl kurulduğunu somut sayılarla gösterir.

• Azure AI Search'ün semantik sıralayıcısında ilk sıralamadan gelen sonuçların yalnızca ilk ellisi yeniden sıralamaya girer. Her belge için model, yapılandırmada tanımlanan başlık, anahtar kelime ve içerik alanlarından yaklaşık iki bin token'lık bir girdi toplar ve sıfır ile dört arasında bir uygunluk puanı üretir.
• Google Cloud'un sıralama arayüzünde tek istekte en fazla bin kayıt yeniden sıralanabilir. Kayıt başına metin sınırı modele göre 512 veya 1.024 token'dır ve bu sınırı aşan içerik kırpılır. Her kaydın ya bir başlığı ya da bir içeriği bulunmak zorundadır.

Bu iki örnekten çıkan ortak tablo, SEO tarafında en çok yanlış anlaşılan noktayı düzeltir. Yeniden sıralama katmanı sayfanın tamamını okumaz. Kendisine verilen sınırlı uzunluktaki metin parçasını okur ve o parça uzunsa kırpılır. Sayfanın yirminci ekranında duran mükemmel cevap, o parçanın içine girmediyse puanlamaya hiç katılmaz.

Reranker aşamasında puanlanan şey nedir?

Yeniden sıralayıcının ürettiği puan, kendisine verilen metnin o soruya ne kadar iyi cevap verdiğini ifade eder. Girdisi soru ve metindir. Alan adının yaşı, dış bağlantı profili veya markanın büyüklüğü bu modelin gördüğü şeyler arasında değildir. Bunlar hattın daha önceki aşamalarında iş görür.

Değerlendirmenin sayfa değil pasaj düzeyinde yapılması klasik aramada da geçerlidir. Google, sıralama sistemleri arasında bir pasaj sıralama sistemi tanımlar ve bunu bir sayfanın tek tek bölümlerini ayırt ederek sayfanın soruya uygunluğunu daha iyi anlamak için kullandığı yapay zeka sistemi olarak açıklar. Aynı mantık cevap üreten sistemlerde daha da belirleyici hale gelir, çünkü modelin bağlamına giren şey sayfanın kendisi değil ondan kesilmiş bir parçadır.

Pratik sonuç şudur. Bir bölüm kendi başına koparıldığında hâlâ anlaşılabiliyorsa yeniden sıralama aşamasında şansı yüksektir. Cevabı bir önceki bölüme yaslanan, konusunu adıyla söylemeyen ve belirsiz zamirlerle ilerleyen bir bölüm ise tek başına puanlandığında zayıf görünür.

Otorite sinyalleri hangi aşamada devreye giriyor?

Bu sorunun dürüst cevabı iki parçalıdır. Kanıtlanabilir kısım şudur: Google, sıralama sistemleri arasında bağlantı analizi sistemlerini ve PageRank'i açıkça sayar. Yani dış bağlantılar, hangi sayfaların indeksten öne çıkarılacağını belirleyen sistemin bir parçasıdır. Google ayrıca AI Overviews ve AI Mode için ek bir gereklilik bulunmadığını, bu özelliklerin arama tarafındaki mevcut kalite ve sıralama sistemleri üzerine kurulduğunu ve birden çok alt sorguyu paralel çalıştıran bir sorgu dallandırma tekniği kullandığını belirtir.

Kanıtın bittiği yer de bellidir. Hangi sinyalin hattın tam olarak hangi aşamasında ve hangi ağırlıkla çalıştığı kamuya açıklanmamıştır. Dolayısıyla "otorite yalnızca ilk aşamada iş görür" demek kanıtın ötesine geçer. Söylenebilecek olan daha ölçülü bir şeydir: kamuya açık yeniden sıralama ürünlerinin girdisi metindir, buna karşılık bağlantı ve marka sinyalleri belgelenmiş biçimde sayfanın görünürlük havuzuna girme tarafında rol oynar.

Marka bahsinin yapay zeka cevaplarındaki etkisine dair yayınlanan çalışmaların çoğu gözlemseldir ve korelasyon gösterir, nedensellik kurmaz. Bu nedenle sağlıklı okuma şudur: dış bağlantı çalışması ile pasaj netliği birbirinin alternatifi değildir. Biri sayfanın masaya gelme ihtimalini, diğeri masadan seçilme ihtimalini besler. Otorite tarafı güçlü olup pasajı dağınık bir sayfa aday havuzuna girer ve orada kalır. Pasajı çok net olup hiç görünürlüğü olmayan bir sayfa ise havuza hiç girmediği için puanlanmaz bile.

Pasajı yeniden sıralamaya uygun yazmak

Yeniden sıralama katmanı sizin kontrolünüzde değildir, ona verilen metin parçası ise büyük ölçüde kontrolünüzdedir. Uygulamada işe yarayan başlıklar şunlardır.

1. Bölümün cevabını bölümün başında verin. Kırpma riski metnin sonunda başlar, dolayısıyla asıl cevabı sona saklamak onu puanlamanın dışında bırakabilir.
2. Her bölüme tek bir bilgi görevi verin. İki farklı soruyu aynı bölümde çözen metin, iki sorunun hiçbirinde net bir cevap gibi görünmez.
3. Bölümü kendi başına ayakta tutun. Konunun adını bölüm içinde en az bir kez geçirin, ancak bunu her paragrafın başında mekanik biçimde tekrarlamayın.
4. Tanımı bölümün içinde kapatın. Okuyucunun bilmediği bir terim kullanılıyorsa karşılığı aynı bölümde verilmelidir.
5. Başlığı bölümün cevapladığı soruya yaklaştırın. Yeniden sıralama girdilerinde başlık alanı çoğunlukla metinle birlikte modele gider.
6. Bir cevabı bölümler arasına dağıtmayın. Yarısı tabloda, yarısı üç bölüm ötede duran cevap, hiçbir parçada tam görünmez.

Bu maddeler yeni bir yazım tekniği değildir. Bilgi mimarisi açısından zaten iyi olan bir metin, yeniden sıralama aşamasında da doğal olarak iyi puan alır. Yeniden sıralamayı bilmek, bu disiplinin neden karşılığı olduğunu görünür kılar.

Klasik sıralama ile yeniden sıralama aynı şey değil

Klasik arama motoru optimizasyonu tarafında sıralamanın çıktısı kullanıcının gördüğü listedir. Üçüncü sıradaysanız üçüncü sıradasınızdır, bu ölçülebilir ve raporlanabilir. Cevap üreten sistemlerde ise yeniden sıralamanın çıktısı kullanıcıya hiç gösterilmez. Bu sıralama, hangi pasajların modelin bağlamına gireceğine karar veren iç bir karardır.

Farkın pratik sonucu ölçüm tarafındadır. Bir sayfa aday havuzunda olabilir, yeniden sıralamada üst sıraya çıkamadığı için cevaba hiç girmeyebilir ve dışarıdan bakıldığında bu durum ile hiç bulunmamış olmak birbirinden ayırt edilemez. Bu yüzden yapay zeka görünürlüğünde tek bir sorgunun tek bir denemesine bakarak sonuç çıkarmak yanıltıcıdır. Aynı soruyu farklı ifadelerle ve farklı zamanlarda tekrarlamak, sistemin davranışındaki değişkenliği görmenin tek yoludur.

Sıkça Sorulan Sorular

Reranker ile embedding modeli aynı şey mi?

Aynı şey değildir. Embedding modeli metni bir sayı dizisine çevirir ve bu diziler önceden indekslenerek ilk erişimde kullanılır. Reranker ise soruyu ve metni birlikte alıp tek bir uygunluk puanı üretir, bir dizi üretmez ve önceden indekslenemez. İkisi aynı hattın farklı aşamalarında çalışır.

Sayfa başlığı yeniden sıralamada işe yarar mı?

Kamuya açık yeniden sıralama arayüzlerinde başlık, modele giden kaydın parçasıdır. Google Cloud'un sıralama arayüzü her kaydın en azından bir başlık veya bir içerik taşımasını şart koşar, Azure AI Search ise girdi metnini başlık, anahtar kelime ve içerik alanlarından birleştirir. Dolayısıyla başlığın bölümün konusunu doğru söylemesi, sadece okur için değil puanlama için de anlamlıdır.

Uzun içerik yeniden sıralamada dezavantaj mı?

Uzunluğun kendisi dezavantaj değildir, çünkü sayfa zaten parçalara bölünerek işlenir. Sorun, uzunluğun bir parçanın içinde dağınıklığa dönüşmesidir. On soruya birden değinen ama hiçbirine net cevap vermeyen bir parça, kısa olmasına rağmen zayıf puan alır. Uzun ama her bölümü tek bir işi bitiren bir metin ise avantajlıdır.

Kendi sitem için reranker kurmam gerekir mi?

Dışarıdaki arama ve cevap motorlarında görünmek için kurmanız gereken bir şey yoktur, o katman motorun kendi tarafındadır. Kendi sitenizde bir site içi arama, yardım merkezi veya soru cevap asistanı çalıştırıyorsanız durum değişir. Bu tür sistemlerde ilk erişimin üzerine bir yeniden sıralama katmanı eklemek, doğru cevabın en üstte çıkma ihtimalini belirgin biçimde artırır.