AI Tarama Denetimi: GPTBot ve ClaudeBot sitenizi görüyor mu?

AI tarama denetimi nedir?

AI tarama denetimi, yapay zeka aramalarında görünürlük çalışmasının (GEO, üretken motor optimizasyonu) teknik erişim ayağında yer alan kontroldür. Denetimin iki bileşeni var: sitenin robots.txt dosyası ve yapay zeka şirketlerinin resmi bot kimlikleri. Sonuç bot bazında ölçülür; bu sayfadaki araç GPTBot, ClaudeBot, PerplexityBot, Google-Extended ve CCBot dahil 12 bot kimliğini okuyup her biri için erişebilir veya engelli durumunu raporlar. Bu kontrol ihtiyacı yeni: OpenAI GPTBot'u Ağustos 2023'te duyurdu, Google aynı yılın Eylül ayında Google-Extended anahtarını tanıttı ve site sahipleri o günden beri hangi bota ne dediklerini ayrı ayrı yönetiyor.

Robots.txt nedir ve yapay zeka botlarıyla ilişkisi ne?

Robots.txt dosyası alan adının kökünde durur ve tarayıcılara sitenin hangi bölümlerine girebileceklerini bildirir. Kural seti 1994'te Martijn Koster'ın önerisiyle doğdu, Eylül 2022'de RFC 9309 koduyla resmi internet standardı oldu; sözdizimi Google'ın robots.txt dokümantasyonunda ayrıntılı anlatılır. Yapay zeka botları da aynı dosyayı okur, çünkü her bot kendini User-agent adı verilen bir kimlik satırıyla tanıtır ve dosyada o ada yazılmış kuralları arar.

Kuralın mantığı bloklarla işler: User-agent satırı hangi botu hedeflediğinizi, altındaki Allow ve Disallow satırları o botun nereye girebileceğini belirler. Kendi bloğu olmayan bot, herkesi kapsayan yıldızlı grubun (User-agent: *) kurallarına uyar. Aşağıdaki örnek, ChatGPT eğitim botuna tüm siteyi açarken Gemini eğitim iznini kapatır:

User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Disallow: /

GPTBot, ClaudeBot ve Google-Extended ne yapar?

Bot kimliklerini iki görev sınıfına ayırarak okumak gerekir: eğitim botları içeriği model eğitimi için toplar, arama botları canlı yanıt üretirken kaynak bulmak için gezer. OpenAI, resmi bot dokümantasyonunda üç ayrı kimlik tanımlar. GPTBot eğitim için tarar, OAI-SearchBot ChatGPT aramasına kaynak toplar; ChatGPT-User ise kullanıcı sohbette bir sayfayı açtırdığında devreye girer. Anthropic ve Perplexity de ClaudeBot ile PerplexityBot kimliklerini kendi bot sayfalarında aynı çerçeveyle duyurur.

Google-Extended'ın konumu özel: Google'ın tarayıcı dokümantasyonuna göre bu ad ayrı bir tarayıcı değil, normal Googlebot taramasında toplanan içeriğin Gemini eğitiminde kullanılmasını yöneten izin anahtarıdır. Engellenmesi klasik Google sıralamasını değiştirmez. CCBot ise 2007'de kurulan kâr amacı gütmeyen Common Crawl'ın botudur; açık arşivi birçok modelin eğitim setine kaynaklık etti. Araç ayrıca Claude-Web, Bytespider (ByteDance), Amazonbot, Applebot-Extended (Apple) ve meta-externalagent (Meta) kimliklerini de denetler.

Yapay zeka botlarına açık olmak neden görünürlük demektir?

Erişim izni olmadan hiçbir yanıt motoru sitenizi kaynak gösteremez; motorlar yalnız görebildikleri sayfaları alıntılar. Pazar tarafında rakamlar net: Google'ın duyurusuna göre AI Overviews (Google aramadaki yapay zeka özetleri) 18 Şubat 2026'dan beri Türkiye'de Türkçe çalışıyor ve Stradiji'nin 1.035 sorguluk Temmuz 2026 ölçümünde Türkçe aramaların %59'u yapay zeka özeti döndürdü. ChatGPT tarafında hesap aynı işler: arama modu OAI-SearchBot'un gezebildiği sayfalardan beslenir; bot engelliyse yanıtlarda rakipleriniz anılır.

Bot izni kapıyı açar ama atıf getirmez: hangi markanın anılacağını içerik kalitesi, güncellik ve site dışı marka sinyalleri belirler. Erişim bu yarışa katılma biletidir; denetim de tek seferlik bir onay değil, GEO çalışmasının başlangıç ölçümüdür. Tersi senaryo ise nettir: kapalı kapı, içerik ne kadar güçlü olursa olsun o motorda sıfır görünürlük üretir.

Hangi botları engellemek mantıklı olabilir?

Doğru cevap içerik modeline göre değişir: engel bir yanda eğitim verisi ve sunucu yükü tasarrufu sağlar, öbür yanda yanıt motorlarındaki anılma şansını kapatır. Karar üç sorudan geçer ve üç farklı robots.txt düzeni doğurur: siteniz müşteri mi kazandırıyor, içeriğin kendisini mi satıyor, yoksa tarama yükü mü sizi zorluyor?

• Müşteri kazandıran hizmet ve ürün siteleri için açıklık kazançlıdır: AI yanıtı yeni bir talep kanalıdır, engelin koruyacağı bir lisans geliri yoktur ve listedeki botların tamamına izin vermek bu segmentte standart tercihtir.
• İçeriğin kendisini satan yayıncılar için eğitim botlarını (GPTBot, ClaudeBot, Google-Extended, CCBot) kapatıp arama botlarını (OAI-SearchBot, PerplexityBot) açık bırakan karma düzen savunulabilir: lisans değeri korunur, atıf trafiği sürer.
• Tarama yükünden bunalan büyük sitelerde sorun görünürlük tercihi değil kapasitedir: çözüm robots.txt satırından önce sunucu tarafında hız sınırı ve bot yönetimi katmanıdır.

Robots.txt bu kararların hepsinde kilit değil ricadır: dosya botu fiziksel olarak durduramaz, uyum botun kendi beyanına kalır. OpenAI, Google ve Anthropic kurallara uyduğunu belirtir ve sunucu günlükleri genelde bu beyanı destekler. Buna karşılık Cloudflare, Ağustos 2025'te Perplexity'nin beyan edilmemiş tarayıcılarla robots.txt engellerini aştığını raporladı. Kesin engel isteyen site bu yüzden işi sunucu katmanına taşır: WAF (web uygulama güvenlik duvarı) veya CDN (içerik dağıtım ağı) üzerinden bot doğrulama ve 403 yanıtı, ricayı kurala çevirir.

Robots.txt ile llms.txt farkı nedir?

İki dosya farklı soruları yanıtlar: robots.txt kimin girebileceğini yönetir, llms.txt ise girenlere içeriğin derli toplu özetini sunmayı önerir. llms.txt, Answer.AI kurucusu Jeremy Howard'ın Eylül 2024 tarihli önerisidir; Markdown adlı düz metin formatında yazılır ve modellere sitenin önemli sayfalarını listeler. Bağlayıcılık da ayrışır: robots.txt RFC 9309 ile standarttır ve büyük botların tamamı okur; llms.txt için Google'dan John Mueller, 2025'te hiçbir büyük AI sisteminin dosyayı kullanmadığını söyledi. Denemenin maliyeti düşük: llms.txt oluşturucu araç dosyayı birkaç dakikada üretir, ama görünürlük eforunun ağırlığı erişim ve içerik tarafında kalmalı.

Hangi robots.txt hataları siteyi farkında olmadan kapatır?

Denetim sonuçlarında hep aynı hatalar çıkar ve çoğu tek satırlık dikkatsizlikten doğar. En pahalısı da sessiz olanıdır: site aylarca AI motorlarına kapalı kalır ve kimse fark etmez, çünkü klasik Google trafiği aynen sürer ve hiçbir panel bu kapanış için uyarı göstermez. Altı hata özellikle yaygın:

• Bilinçsiz genel engel: User-agent: * altındaki geniş Disallow, özel bloğu olmayan her yapay zeka botunu da kapsar ve site istemeden ChatGPT ile Perplexity kaynaklarından düşer.
• Yanlış bot adı: eşleşme birebir kimlik adıyla çalışır; GPT-Bot veya Claude-Bot gibi tireli yazımlar hiçbir botu bağlamaz ve kural ölü satıra dönüşür.
• Boş Disallow karmaşası: değeri boş bırakılan Disallow satırı her yere izin verir, Disallow: / ise tüm siteyi kapatır; tek karakter iki zıt sonuç üretir.
• Çakışma önceliği: aynı yolu hedefleyen Allow ile Disallow yarıştığında Google uygulaması en uzun, yani en ayrıntılı kuralı kazandırır; bu önceliği bilmeden yazılan iç içe kurallar sürpriz sonuç verir.
• Alt alan unutkanlığı: robots.txt alan adı başına çalışır; blog.site.com kökteki dosyadan kural almaz, kendi dosyasına bakar.
• Katman karışıklığı: robots.txt izin verirken sunucudaki WAF veya CDN kuralı botu 403 ile geri çevirebilir; bu sayfadaki denetim robots.txt katmanını ölçer, sunucu seviyesindeki engeli göstermez.

AI bot erişimi için yol haritası

Yol haritası üç adımdan oluşur. Önce ölçüm: yukarıdaki araca alan adınızı yazın, 12 botun durumunu görün ve tabloyu niyetinizle karşılaştırın; en riskli durum bilinçli engel değil, kimsenin fark etmediği engeldir. Sonra eşleme: müşteri kazanmak isteyen site eğitim ve arama botlarına açık kalır, içeriğini satan yayıncı eğitim botlarını kapatıp arama botlarını açık tutan karma düzeni kurar, kapasite sorunu yaşayan site çözümü sunucu katmanında arar. Son adım süreklilik: bot listesi genişliyor ve yeni kimlikler ekleniyor; her robots.txt değişikliğinden sonra denetimi yenileyin, listeye eklenen botları da aynı turda kontrol edin. Erişim izni atıf garantisi vermez, ama kapalı kapı garantili görünmezliktir.