llms.txt Gerekli mi?

llms.txt Dosyası Ne Yapar?

llms.txt zorunlu bir dosya değil ve bugün hiçbir büyük arama motoru ya da yapay zeka asistanı onu üretim sistemlerinde okuduğunu beyan etmiş durumda değil. Dosyanın kendisi ise şu: sitenin kök dizinine konulan, önemli sayfaları Markdown biçiminde listeleyen düz bir metin dosyası. Fikir Jeremy Howard tarafından ortaya atıldı ve amacı basitti. Bir dil modeli siteyi anlamaya çalışırken menü, reklam, JavaScript ve şablon kalabalığını ayıklamak zorunda kalmasın, doğrudan işine yarayan sayfaların temiz bir listesine ulaşsın.

Biçim spesifikasyonda tanımlı. Zorunlu tek öğe, projenin veya sitenin adını taşıyan bir H1 başlığı. Onun altında siteyi bir iki cümleyle özetleyen bir alıntı bloğu, ardından başlık içermeyen serbest açıklama bölümleri, en sonda da H2 başlıklarıyla ayrılmış bağlantı listeleri yer alıyor. Her bağlantı standart Markdown biçiminde yazılıyor ve isteğe bağlı kısa bir not alabiliyor. Spesifikasyon ikinci sürümüne geçtiğinde yapı biraz sadeleşti, ayrıca "Optional" başlığı altındaki bağlantılar kısa bağlam gerektiğinde atlanabilecek ikincil kaynaklar olarak tanımlandı.

Dosya kök dizinde durmak zorunda değil. Bir alt yol altında da yayınlanabiliyor. Örneğin /docs/llms.txt yalnızca o dizinin altındaki adresleri kapsar ve birden fazla dosya geçerliyse ajanın en spesifik olanı kullanması bekleniyor.

Google llms.txt İçin Ne Diyor?

Google'ın tutumu yoruma yer bırakmayacak kadar açık. Search Central dokümantasyonunda, Google Search'te ve üretken yapay zeka özelliklerinde görünmek için makine tarafından okunabilen yeni dosyalar, işaretlemeler veya Markdown üretmeye gerek olmadığı yazıyor. Aynı belge llms.txt'yi adıyla anıyor ve bu dosyayı oluşturmanın sitenin görünürlüğüne veya sıralamasına ne fayda ne zarar getireceğini, çünkü Search'ün dosyayı yok saydığını söylüyor.

Bu sonradan eklenmiş bir savunma değil. Search ekibinden Gary Illyes bir Search Central etkinliğinde Google'ın llms.txt'yi desteklemediğini ve desteklemeyi planlamadığını, AI Overviews içinde görünmek için normal SEO'nun yeterli olduğunu söylemişti. John Mueller'a Google'ın kendi geliştirici dokümantasyonlarında llms.txt bulunmasının bir onay anlamına gelip gelmediği sorulduğunda verdiği cevap tek kelimeydi: hayır.

Mueller aynı tartışmada teknik olmayan ama daha kalıcı bir soruna değindi. Ona göre dosya, modellere hangi sitenin daha iyi olduğunu ayırt etme imkanı vermiyor, çünkü herkes kendi dosyasında kendini iyi anlatıyor. Bu, dosyanın okunup okunmadığından bağımsız bir problem. Bir sitenin kendisi hakkında yazdığı tanıtım metni, seçim veya sıralama sinyali olarak kullanılabilecek türden bir kanıt değil.

Dosyayı Gerçekten Kim Okuyor?

"OpenAI'nin bile llms.txt dosyası var" cümlesi bu tartışmanın en sık kullanılan argümanı ve yanlış yerden bakıyor. OpenAI de Anthropic de kendi geliştirici dokümantasyonları için llms.txt yayınlıyor. Ancak yayınlamak ile okumak aynı şey değil.

Her iki şirketin tarayıcılarını anlattığı resmi belgelere bakınca tablo netleşiyor. OpenAI, GPTBot, OAI-SearchBot ve ChatGPT-User için site sahiplerine sunduğu kontrol mekanizması olarak yalnızca robots.txt'yi gösteriyor. Anthropic'in ClaudeBot, Claude-User ve Claude-SearchBot'u anlattığı belgede llms.txt hiç geçmiyor, tek adres yine robots.txt. Yani bu şirketler dosyayı kendi dokümantasyonlarını ajanlara sunmak için bir içindekiler tablosu gibi kullanıyor, sizin sitenizdeki dosyayı okuyacaklarını hiçbir belgede söylemiyorlar.

Sunucu logları da bu resmi destekliyor. Ahrefs'in 137 bin alan adının log kayıtlarını incelediği çalışmada, tek aylık bir ölçüm penceresinde llms.txt dosyalarının yüzde 97'sine hiç istek gelmemişti. İstek alan küçük azınlıkta bile trafiğin çoğu yapay zeka motorlarından değil, SEO denetim araçlarından, teknoloji profilleme botlarından ve sıradan web tarayıcılarından geliyordu. GPTBot bu isteklerin küçük bir dilimini oluşturuyordu, ClaudeBot ise yüzde birin altında kalmıştı.

İkinci bir veri katmanı alıntılanma tarafına bakıyor. SE Ranking yaklaşık 300 bin alan adında, llms.txt varlığı ile büyük dil modeli cevaplarında alıntılanma sıklığı arasında anlamlı bir ilişki bulamadı. Bunlar araç sağlayıcılarının gözlemsel çalışmaları, nedensellik kanıtı değil ve tek başına alındığında sınırlı. Ancak iki farklı yöntem, iki farklı veri seti ve aynı yön var. Dosyanın alıntılanma davranışını ölçülebilir biçimde değiştirdiğine dair bir bulgu ortaya çıkmış değil.

llms.txt ile robots.txt Aynı Şey Değil

En yaygın kafa karışıklığı burada. llms.txt hiçbir şeyi engellemez, hiçbir şeye izin vermez, hiçbir tarayıcıyı yönlendirmez. Yalnızca tarif eder. robots.txt ise bir talimat dosyasıdır ve yapay zeka sağlayıcıları bu dosyadaki yönergelere uyduklarını resmen beyan eder. İkisini karıştırmak, bir bina planını kapı kilidiyle karıştırmaya benziyor.

Asıl kaçırılan ayrım robots.txt'nin içinde. Yapay zeka şirketleri tek bir bot çalıştırmıyor, farklı işler için farklı botlar çalıştırıyor ve bunlar ayrı ayrı yönetilebiliyor. OpenAI tarafında GPTBot model eğitimi için içerik topluyor, OAI-SearchBot sayfanın ChatGPT'nin arama cevaplarında kaynak olarak görünmesini sağlıyor, ChatGPT-User ise ancak bir kullanıcı adresi verdiğinde devreye giriyor. Anthropic tarafında ClaudeBot ile Claude-SearchBot benzer biçimde ayrışıyor. Bu isimler ve aralarındaki farklar karışıyorsa yapay zeka ve SEO terimleri sözlüğü daha hızlı bir referans sunuyor.

Ayrımın pratik sonucu şu. Model eğitimini engellemek istediğiniz için bütün yapay zeka botlarını topluca kapatırsanız, aynı hamleyle yapay zeka aramalarında kaynak gösterilme ihtimalinizi de kapatmış olursunuz. Bir sitenin AI görünürlüğünü llms.txt eksikliği değil, çok daha sık bu tür bir robots.txt kararı belirliyor. Tarayıcı erişiminin sayfa bazında nasıl yönetildiği ve tarama bütçesinin nereye harcandığı, robots.txt ve tarama bütçesi tarafında ayrıca ele alınması gereken bir konu.

llms.txt Kimin İşine Yarıyor

Teknik dokümantasyon yayınlayan siteler

Spesifikasyonun tasarlandığı senaryo bu ve burada dosya gerçek bir iş yapıyor. Bir geliştirici kod asistanına dokümantasyonunuzun adresini verdiğinde, ajan sayfaları tek tek gezip HTML ayıklamak yerine tek bir Markdown dizininden ilerleyebiliyor. Mekanizma arama motoru keşfi değil, doğrudan yönlendirme. Yani dosyayı bulan bir tarayıcı değil, adresi eline tutuşturulan bir ajan. API dokümantasyonu, SDK referansı, ürün kılavuzu veya kurulum belgeleri yayınlayan bir yazılım şirketi için bu makul bir yatırım ve zaten yapay zeka laboratuvarlarının kendi dosyalarını yayınlama sebebi de bu.

Kurumsal siteler ve e-ticaret

Bir yerel hizmet sitesinin, e-ticaret mağazasının ya da kurumsal tanıtım sitesinin llms.txt sayesinde ölçülebilir bir kazanç elde ettiğine dair bir kanıt bulunmuyor. Bu siteler için dosya yarım saatlik bir iş ve düşük bir risk. Sorun dosyanın kendisi değil, ona yüklenen anlam. "AI görünürlüğü için llms.txt şart" cümlesi doğru değil ve bu cümleye inanan bir site sahibi, asıl fark yaratan işleri yaptığını sanarak yapmamış oluyor. Bu bir bütçe kaybı değil, dikkat kaybı.

Bakımı yapılmayan dosyanın maliyeti

Dosyanın tek somut riski eskimesi. Kaldırılmış sayfaları, değişmiş adresleri veya artık geçerli olmayan açıklamaları listeleyen bir llms.txt, onu okuyan az sayıdaki ajanı yanlış yere gönderir. Site yapısı her değiştiğinde güncellenmeyecekse dosyayı hiç yayınlamamak daha tutarlı bir tercih. Yayınlanan ve unutulan bir dosya, olmayan bir dosyadan daha kötü bir durumdur.

Aynı Emeği Nereye Harcamak Daha Mantıklı

Google'ın kendi yönlendirmesi de, bağımsız veriler de aynı yere işaret ediyor. Yapay zeka cevaplarında kaynak olarak görünmenin yolu özel dosyalardan değil, sayfanın erişilebilirliğinden ve içeriğin kendisinden geçiyor. Sıralama şöyle işliyor.

• Sayfa taranabilir ve indekslenebilir durumda olmalı. Yanlış canonical, gereksiz noindex veya bloklanmış bir dizin, en iyi içeriği bile devre dışı bırakır.
• Ana içerik HTML içinde okunabilir olmalı. Cevabın yalnızca JavaScript çalıştıktan sonra ortaya çıktığı bir sayfa, retrieval açısından yarı görünmezdir.
• robots.txt kararı bot bazında bilinçli verilmeli. Eğitim botu ile arama botu ayrı değerlendirilmeli.
• Cevap sayfanın içinde kendi başına anlaşılır bir pasaj olarak bulunmalı. Bir bölüm sayfadan koparıldığında ne dediği hâlâ anlaşılıyorsa alıntılanmaya uygundur.
• İçerikte başka yerde bulunmayan bir şey olmalı. Kendi verisi, kendi testi, kendi karşılaştırması olan sayfa, aynı bilgiyi başka kelimelerle tekrar eden sayfadan ayrışır.
• Marka, ürün ve hizmetin ne olduğu metinde belirsizlik bırakmadan anlaşılmalı.

Bu maddelerin hiçbiri yeni bir dosya formatı gerektirmiyor, hepsi klasik teknik SEO ve içerik işi. Bir arada yürütüldüklerinde yapay zeka arama görünürlüğü tarafında gerçekten ölçülebilen tek şeyi üretiyorlar. llms.txt bu listenin herhangi bir maddesinin yerine geçmiyor.

Dosyayı Yine de Yayınlayacaksanız

Maliyeti düşük olduğu için oluşturmak isteyen bir site sahibine söylenecek şey, dosyayı beklentiyi doğru ayarlayarak yapması. Şu üç kural işi yeterince sağlam tutar. Dosya spesifikasyona uygun olsun, yani H1 başlığı, kısa bir özet alıntısı ve H2 altında toplanmış Markdown bağlantı listeleri içersin. İçine her sayfa değil, yalnızca gerçekten temsil edici sayfalar girsin. Ve site yapısı değiştiğinde güncellensin.

Dosyayı elle yazmak istemiyorsanız Seobaz'ın ücretsiz llms.txt oluşturucu aracı siteyi ve site haritasını tarayıp taslak bir dosya çıkarıyor. Çıkan dosyayı olduğu gibi yüklemek yerine üzerinden geçmek gerekiyor, çünkü otomatik seçilen sayfalar her zaman sitenin gerçekten öne çıkarmak istediği sayfalar olmuyor. Aracın işi taslağı hazırlamak, hangi sayfanın listeye gireceği kararı sizde.

Bunu yaptıktan sonra beklenti şu olmalı. Dosya sitenin Google sıralamasını değiştirmeyecek, AI Overviews içinde görünme ihtimalini artırmayacak ve büyük olasılıkla hiçbir yapay zeka motoru tarafından talep edilmeyecek. Bu tabloya rağmen yayınlamak savunulabilir bir tercih, çünkü standart ileride benimsenirse dosya hazır olur. Savunulamayan şey, dosyayı yayınlayıp AI görünürlüğü işini bitmiş saymak.

Sıkça Sorulan Sorular

llms.txt oluşturmak sitemin Google sıralamasına zarar verir mi?

Hayır. Google'ın dokümantasyonu bu konuda net, dosyanın oluşturulması sitenin görünürlüğüne veya sıralamasına ne fayda ne zarar sağlıyor, çünkü Search dosyayı yok sayıyor. Zarar riski yalnızca dolaylı. Dosyada yanlış veya ölü adresler varsa onu okuyan az sayıda ajan yanlış yere yönlenir.

llms.txt ile sitemap.xml aynı işi mi yapıyor?

Hayır. sitemap.xml arama motorlarına taranacak adreslerin makine tarafından okunan tam listesini verir ve büyük arama motorları tarafından standart olarak desteklenir. llms.txt ise bir seçki, hangi sayfaların önemli olduğunu ve neden önemli olduğunu insan diliyle anlatır. Biri kapsam, diğeri öncelik iddiası. Sitemap desteklenen bir standart, llms.txt ise henüz benimsenmemiş bir öneri.

llms.txt yapay zeka botlarının içeriğimi eğitim için kullanmasını engeller mi?

Engellemez. llms.txt'nin hiçbir engelleme yetkisi yok, sadece tarif eder. Eğitim amaçlı kullanımı sınırlamak isteyen bir site sahibinin kullanacağı dosya robots.txt ve engellenecek bot GPTBot ya da ClaudeBot gibi eğitim tarayıcıları. Bu kararı verirken arama tarafındaki botları ayrı tutmak gerekiyor, aksi halde yapay zeka aramalarında kaynak gösterilme ihtimali de kapanır.

llms-full.txt ayrıca gerekli mi?

Spesifikasyonun tanımladığı bir dosya değil. Bazı dokümantasyon platformları, bağlantı listesi yerine belgelerin tam metnini tek dosyada sunmak için bu adı kullanmaya başladı ve yaygınlaştı. Yani bir standart değil, bir yerleşik alışkanlık. Zaten okunup okunmadığı belirsiz bir dosyanın ikinci ve çok daha büyük bir sürümünü üretmek, dokümantasyon yayınlamayan siteler için anlamlı bir iş değil.