Google, "LSI keyword" diye bir şeyin var olmadığını en az iki kez aynı netlikte söyledi. Arama ekibinden John Mueller 2019'da "There's no such thing as LSI keywords" yazdı ve aksini söyleyenin yanıldığını ekledi. Dört yıl sonra soru yeniden geldiğinde cevabı değişmedi: bunların hiçbir etkisi yok, bunu tavsiye eden kişi bunca yıldan sonra hâlâ yanılıyor. Google'ın kendi sistem anlatımlarında da eşanlamlı sistemi, RankBrain, neural matching ve BERT geçiyor, latent semantic indexing geçmiyor.
Asıl mesele terimin yanlış olması değil. Yanlış terimin gerçek bir ihtiyacı gizlemesi. İnsanlar aynı şeyi farklı kelimelerle arıyor ve bir sayfa bu kelimelerin hiçbirini karşılamıyorsa bulunamıyor. Bu problem gerçek, ölçülmüş ve eski. Ancak "içeriğe 20 tane LSI kelimesi serpin" tavsiyesi onu çözmüyor, çözdüğü izlenimini veriyor.
LSI aslında ne yapıyordu
Latent semantic indexing, bir arama motoru taktiği değil, belirli bir bilgi erişim problemine getirilmiş matematiksel bir çözümdü. Bell Communications Research bünyesindeki bir ekip tekniği 1988 Eylül'ünde patent başvurusuna konu etti, yöntemin ayrıntılı anlatımı ise iki yıl sonra "Indexing by Latent Semantic Analysis" başlıklı akademik makaleyle yayımlandı.
Yöntemin çalışma biçimi şudur. Bir doküman koleksiyonu, satırları terimlerden ve sütunları dokümanlardan oluşan dev bir sayı tablosuna çevrilir. Bu tablo tekil değer ayrışımı (singular value decomposition) ile yaklaşık 100 ortogonal faktöre indirgenir. İndirgemeden sonra her doküman, yaklaşık 100 sayıdan oluşan bir vektörle temsil edilir. Kullanıcının sorgusu da aynı uzayda sahte bir doküman vektörüne çevrilir ve bu vektöre yeterince yakın duran dokümanlar sonuç olarak döner.
terim-doküman matrisi (makaledeki MED testi)
5823 satır (terim) x 1033 sütun (doküman)
SVD ile indirgeme
her doküman -> yaklaşık 100 sayıdan oluşan bir vektör
her terim -> aynı uzayda tek bir nokta
sorgu -> aynı uzayda sahte doküman vektörü
benzerlik = iki vektör arasındaki kosinüsTekniğin çözmeye çalıştığı iki problem vardı. Birincisi eş anlamlılık: aynı şeyi anlatmanın çok sayıda yolu var, kullanıcının seçtiği kelime dokümanın kullandığı kelimeyle eşleşmeyebiliyor. İkincisi çok anlamlılık: aynı kelime farklı bağlamlarda farklı şeye işaret ediyor. Makale eş anlamlılık probleminin ne kadar ciddi olduğunu somut bir ölçümle veriyor. İki kişi, herkesin bildiği tek bir nesne için aynı ana anahtar kelimeyi seçme oranı yüzde 20'nin altında kalıyor. Bu, "ilişkili kavramları kapsa" tavsiyesinin gerçek dayanağıdır ve tavsiyenin kendisi doğrudur. Yanlış olan, bu ihtiyacın adının LSI olduğunu sanmaktır.
Tekniğin sınırlarını yazarlarının kendisi yazdı
Orijinal çalışmayı okuyunca terimin neden bir web sıralama faktörüne dönüşemeyeceği kendiliğinden çıkıyor. Yöntem iki standart koleksiyon üzerinde denendi: 1033 tıbbi özetten oluşan bir set ve 1460 bilgi bilimi özetinden oluşan ikinci bir set. Bunlar birkaç bin dokümanlık, sabit, kapalı koleksiyonlar.
Makale, ölçekleme sorununu kendisi kaydediyor. Yüksek boyutlu uzayda arama seri bilgisayarlarda verimli çalışmıyor, bu da yöntemin çok büyük koleksiyonlar için arzu edilirliğini azaltıyor. Güncelleme tarafı daha da kritik: ilk ayrışım zaman alıcı, yeni terim ve dokümanların yeniden ayrışım yapılmadan ne kadarının eklenebileceği makalede açık bir soru olarak bırakılıyor. Sürekli değişen, her gün yeni sayfa ve yeni terim üreten bir web indeksinde bu iki sınır tek başına belirleyicidir.
Sonuçlar da tek yönlü değildi. Tıbbi özet setinde LSI, düz terim eşleşmesinin üzerine çıktı. Bilgi bilimi setinde ise düz terim eşleşmesini geçemedi. Çok anlamlılık tarafında ise yöntem kısmi bir çözüm sunuyordu ve nedenini makale açıkça yazıyor: her terim uzayda tek bir noktayla temsil edildiği için birden fazla anlamı olan bir kelime, anlamlarının ağırlıklı ortalamasına indirgeniyor. Gerçek anlamların hiçbiri bu ortalamaya benzemiyorsa ciddi bir bozulma ortaya çıkıyor.
Yani LSI, kendi belgesinde bile "her problemi çözen bir anlam motoru" olarak sunulmuyor. Belirli boyuttaki koleksiyonlarda eş anlamlılık problemini iyileştiren, çok anlamlılıkta zorlanan ve ölçeklenmesi maliyetli bir yöntem olarak tarif ediliyor.
Vektörel yakınlık ne anlatıyor
Başlıktaki ikinci kavram, mitten bağımsız olarak gerçek ve hâlâ geçerli. Vektör, bir metni veya kelimeyi sayı listesine çeviren temsildir. Bu sayılar bir uzayda konum belirler ve benzer bağlamlarda kullanılan ifadeler birbirine yakın konumlanır. Yakınlık, iki vektör arasındaki açının kosinüsüyle ölçülür. Buraya kadarki mantık LSI'de de günümüz sistemlerinde de aynıdır.
Fark, uzayın nasıl kurulduğunda. LSI tek seferlik bir ayrışımla sabit bir uzay üretir ve o uzayda bir kelimenin tek bir konumu vardır. Cümle ne olursa olsun "yüz" kelimesi aynı noktada durur. Google'ın BERT'i tanıtırken anlattığı yaklaşım tam olarak bunun tersidir: kelimeler tek tek ve sırayla değil, cümledeki diğer tüm kelimelerle ilişki içinde işlenir. Böylece aynı kelime, içinde geçtiği cümleye göre farklı bir temsil alır. Google bu değişikliği anlatırken kullanıcıların sisteme kendini anlatabilmek için kurduğu yapay ifade biçimine ("keyword-ese") artık mecbur olmamalarını öne çıkarıyor.
Pratik sonuç şudur. Vektörel yakınlık, sayfaya belirli kelimeler eklendiğinde artan bir puan değildir. Bir metnin ne hakkında olduğunun bütünsel temsilidir. O temsili değiştiren şey, kelime listesi değil, metnin gerçekten neyi açıkladığıdır. Bu kavramların Türkçe karşılıklarını toplu görmek isterseniz yapay zeka ve SEO sözlüğü bu terimleri tek yerde topluyor.
Mit ile gerçeğin ayrımı
| Yaygın iddia | Doğrulanabilir durum | Pratikte karşılığı |
|---|---|---|
| Google LSI kullanıyor | Google'ın kendi sistem anlatımında eşanlamlı sistemi, RankBrain, neural matching ve BERT var, latent semantic indexing yok | Sistem adına göre optimize etmeyi bırakın, sorunun kendisine bakın |
| LSI kelimeleri diye bir kelime türü var | Google böyle bir kavramın olmadığını iki ayrı zamanda açıkça söyledi | "LSI kelimesi" değil, konunun gerçek alt kavramları diye düşünün |
| Ne kadar çok ilişkili terim eklenirse o kadar iyi | Ekleme miktarını sıralamaya bağlayan doğrulanmış bir bulgu yok | Terim sayısını değil, cevaplanan soru sayısını artırın |
| LSI, anlamı çözen gelişmiş bir teknoloji | Birkaç bin dokümanlık koleksiyonlar için tasarlandı, çok anlamlılıkta kısmi çözüm sunuyor | Tekniği modern anlam anlama sistemleriyle eş tutmayın |
| LSI aracının listesi Google'ın kullandığı terimlerdir | Bu araçların Google indeksine veya ayrışımına erişimi yok | Listeyi fikir kaynağı olarak alın, kontrol listesi olarak değil |
"LSI keyword aracı" aslında ne satıyor
Bu araçların hiçbiri gerçek bir latent semantic indexing analizi çalıştırmaz. Çalıştırmak için Google'ın doküman koleksiyonuna ve o koleksiyon üzerinde yapılmış bir ayrışıma erişmeleri gerekir; ikisi de mümkün değil. Ürettikleri liste, gözlemlenebilir yüzeylerden derlenir: otomatik tamamlama önerileri, ilgili aramalar, kullanıcıların sorduğu sorular ve üst sıradaki sayfalarda birlikte geçen terimler.
Bu çıktı işe yaramaz değildir. Aksine, konunun hangi alt sorulara ayrıldığını görmek için hızlı bir kaynaktır. Sorun etikettedir ve etiketin yarattığı kullanım biçimindedir. "LSI" adı listeye bir algoritmik meşruiyet katıyor, o meşruiyet de listeyi doldurulacak bir kontrol listesine dönüştürüyor. Sonuç genellikle şu oluyor: metne, karşılığında hiçbir yeni bilgi getirmeyen terimler serpiliyor ve sayfa daha kapsamlı değil, sadece daha uzun hale geliyor.
Yanlış terim doğru ihtiyacı gizliyor
Miti reddetmek, arkasındaki gözlemi de reddetmek anlamına gelmiyor. Aynı nesne için iki insanın aynı kelimeyi seçme oranının yüzde 20'nin altında kaldığı bulgusu hâlâ geçerli. Google'ın eşanlamlı sistemini ayrı bir bileşen olarak anlatmasının nedeni de bu: "laptop parlaklığını değiştirme" araması yapan kullanıcıyla "laptop parlaklığını ayarlama" yazan üreticinin aynı ihtiyaçtan söz ettiğini sistemin görmesi gerekiyor.
Buradaki mantık, mitin kurduğu mantıktan farklı. İlişkili kavramları kapsamak, bir skoru yükselttiği için değil, sayfayı gerçekten daha fazla sorunun cevabı haline getirdiği için işe yarıyor. Tarama bütçesini anlatan bir sayfa Googlebot'tan, robots.txt'ten veya tarama hızından hiç söz etmiyorsa buradaki eksik bir terim eksikliği değil, konu eksikliğidir. Terim, eksikliğin belirtisi; sebebi değil.
LSI listesi yerine ne yapılır
- Sorunun gerçek dağılımını çıkarın. Ana sorgunun arkasındaki alt soruları toplayın: tanım, nasıl çalışır, ne zaman uygun değil, alternatifleri, sık yapılan hatalar. Kapsama kararını kelime listesi değil bu dağılım belirlesin.
- Niyeti karşılayın. Aynı kelimeyi arayan iki kullanıcı farklı şey isteyebilir. Sayfanın hangi niyete cevap verdiğini netleştirmek için arama niyeti uyumu tarafını ayrı bir iş olarak ele alın.
- Eş anlamlıları zorlamadan kullanın. Bir kavramın Türkçe ve İngilizce karşılığı metinde doğal olarak geçiyorsa geçsin. Cümleyi bozacak biçimde ikisini birden sıkıştırmanın bilinen bir faydası yok.
- Kapsamı sayfaya değil kümeye dağıtın. Bir konunun tüm alt başlıklarını tek sayfaya yığmak yerine hangi alt konunun kendi sayfasını hak ettiğine karar verin. Bu kararın çerçevesi konu haritası planlaması tarafındadır.
- Her eklemeyi bilgi testinden geçirin. Metne giren her terim, cümleye yeni bir olgu, ayrım, istisna veya örnek getirmiyorsa çıkarın. Terim sayısı artıp bilgi artmıyorsa yapılan iş kapsama değil doldurmadır.
Türkçede terimin kendine özgü sorunu
Türkçe kaynakların büyük bölümü LSI'yi hâlâ "Google'ın kullandığı yöntem" diye tanımlıyor. Bu tanım korpusta baskın olduğu için, o korpustan üretilen özetler ve yapay zeka cevapları da aynı hatayı miras alıyor. Terimi düzeltmenin Türkçede İngilizceye göre daha zor olmasının nedeni bu: düzeltmeyi yapan kaynak sayısı, miti tekrarlayan kaynak sayısının yanında çok az.
İkinci bir tuhaflık daha var. "LSI nedir" sorgusu Türkçede tek bir bilgi ihtiyacına ait değil. Aynı kısaltma elektrik mühendisliğinde devre kesicilerin koruma fonksiyonlarını (long, short, instantaneous) anlatıyor ve bir üreticinin teknik sayfası bu sorguda SEO içeriklerinin arasında sıralanıyor. Terimin SEO tarafındaki gerçek talebi ise oldukça küçük.
Bunun pratik sonucu net: "LSI keyword" ifadesini bir hizmet, bir teknik ya da bir sayfa hedefi haline getirmek mantıklı değil. Kavramı bilmek, müşteriye veya ekibe yanlış tavsiye geldiğinde bunu fark edebilmek için yeterlidir. SEO'nun temel çerçevesine bakmak isteyen biri için doğru başlangıç noktası SEO'nun ne olduğu tarafıdır, LSI değil.
Sık sorulan sorular
LSI keyword araçlarının verdiği listeyi hiç kullanmayayım mı?
Kullanın, ama ne olduğunu bilerek. O liste otomatik tamamlama, ilgili aramalar ve üst sıradaki sayfalarda birlikte geçen terimlerden derlenmiş bir fikir havuzudur. Konunun hangi alt sorulara ayrıldığını görmek için hızlıdır. Metne doldurulacak bir kota olarak kullanıldığında zarar verir.
TF-IDF ile LSI aynı şey mi?
Hayır, ama akrabalar. TF-IDF bir terimin bir dokümandaki ağırlığını hesaplayan bir puanlamadır ve terim-doküman matrisinin hücrelerini doldurmak için kullanılabilir. LSI ise o matrisin tamamını daha az boyuta indirgeyen ayrı bir adımdır. TF-IDF girdi tarafında, LSI indirgeme tarafındadır.
Eş anlamlı kelime eklemek sıralamayı yükseltir mi?
Eklemenin kendisini sıralama artışına bağlayan doğrulanmış bir bulgu yok. Doğrulanmış olan şu: kullanıcılar aynı kavramı çok farklı kelimelerle arıyor ve arama sistemleri bu farklı ifadeleri eşleştirmek için ayrı bir eşanlamlı katmanı çalıştırıyor. Yani metnin doğal olarak birden fazla ifade biçimini içermesi mantıklıdır, kelime listesini cümlelere zorla yerleştirmek değil.
Embedding ile LSI arasındaki fark tek cümleyle nedir?
LSI, sabit bir matrisin tek seferlik ayrışımıyla her kelimeye tek bir konum verir; bağlamsal embedding ise aynı kelimeye içinde geçtiği cümleye göre farklı bir konum verir.
Aynı mantık yapay zeka cevaplarında da geçerli mi?
Temel mantık aynı: bir metin, sorgunun karşılığını gerçekten taşıdığı için aday havuzuna giriyor, içine belirli terimler serpildiği için değil. Ancak farklı yapay zeka sistemlerinin kaynak seçim davranışı birbirinin aynısı değil, bu yüzden tek bir platformdaki gözlemi genel bir kural gibi almak doğru olmaz.
