Sitenizi AI botları tarayabiliyor mu?

AI tarama denetimi nedir?

AI tarama denetimi, yapay zeka şirketlerine ait botların bir siteye erişip erişemediğini robots.txt kuralları üzerinden test eden kontroldür. Bu sayfadaki araç, girilen alan adının robots.txt dosyasını okur ve büyük AI botlarının (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot dahil) erişim durumunu bot bot raporlar. Sonuç iki sınıfta özetlenir: içeriği görebilen botlar ve engellenen botlar. Denetim, sitenin AI yanıt motorlarındaki görünürlük potansiyelinin ilk ölçümüdür.

Yapay zeka botları hangileridir?

Her büyük AI sistemi kendi kimlikli botuyla tarama yapar; başlıcaları şunlardır:

Google-Extended'ın özel bir durumu vardır: engellenmesi Google aramadaki klasik sıralamayı etkilemez, yalnızca içeriğin Gemini eğitiminde kullanımını kapatır. AI Overviews görünürlüğü ise standart Googlebot erişimiyle yönetilir.

AI botları nasıl engellenir veya izin verilir?

Kontrol robots.txt dosyasındaki User-agent bloklarıyla yapılır. İzin için bota açık kural yazılır: "User-agent: GPTBot" satırının altına "Allow: /" eklenir. Engel için aynı yapıda "Disallow: /" kullanılır. Kural yazılmayan botlar, genel (User-agent: *) bloğun kurallarına tabidir. Yaygın hata, genel blokta geniş bir Disallow bulunurken AI botlarına özel izin yazılmamasıdır; bu durumda site istemeden AI motorlarına kapanır. Denetim aracı bu çakışmaları bot bazında görünür kılar.

AI botlarını engellemek neye mal olur?

Engelleme bilinçli bir ticari tercihtir ve iki yönlü sonuç üretir. Kapatmanın koruduğu: içeriğin model eğitiminde kullanılmaması ve sunucu yükünün azalması. Kapatmanın kaybettirdiği: ChatGPT, Perplexity ve benzeri yanıt motorlarında kaynak olarak geçme şansı. Kullanıcı davranışı yanıt motorlarına kaydıkça, bu motorlarda görünmezlik yeni tip bir trafik kaybına dönüşür. Yayıncılar telif kaygısıyla eğitim botlarını kapatıp arama botlarına izin veren karma modele yönelir; hizmet satan siteler için ise genel eğilim tam açıklıktır.

Denetim nasıl çalışır?

Denetim üç adımda tamamlanır:

1. Alan adı girilir; araç sitenin robots.txt dosyasını canlı çeker.
2. Dosyadaki User-agent blokları ayrıştırılır; her AI botu için geçerli kural belirlenir.
3. Sonuç tablo halinde raporlanır: erişebilen botlar, engellenen botlar ve kural kaynağı.

AI bot erişimi hangi stratejiyle yönetilmeli?

Sağlıklı strateji üç soruya verilen yanıtla kurulur. İçerik gelir mi üretiyor: hizmet ve ürün satan siteler için AI görünürlüğü müşteri kanalıdır, açıklık kazandırır. İçerik telifli varlık mı: özgün arşiv satan yayıncılar için eğitim botlarını sınırlamak savunulabilir bir tercihtir. Altyapı yük kaldırıyor mu: tarama yoğunluğu sorun yaratıyorsa engel yerine tarama hızı yönetimi denenir. Karar hangi yönde olursa olsun, denetim aracı mevcut durumun niyetle örtüşüp örtüşmediğini gösterir; en riskli durum bilinçsiz engeldir.

Bot listesi ve kimlikleri zaman içinde genişler; denetimin dönemsel tekrarı yeni botların durumunu da kapsama alır.