Googlebot bir siteye sınırsız sabırla gelmez. Her istek sunucunuzda bir maliyet üretir ve Google'ın web genelinde dağıtabileceği tarama kaynağı da sonsuz değildir. Bu iki sınırın kesiştiği yere tarama bütçesi deniyor.
Kavramın kendisi gerçek. Ancak Google'ın konuyla ilgili kılavuzu daha ilk satırında, sitede hızla değişen çok sayıda sayfa yoksa veya sayfalar yayınlandıkları gün taranıyorsa bu kılavuzu okumaya gerek olmadığını söylüyor. Tarama bütçesi, küçük ve orta ölçekli sitelerin çoğunda çözülmesi gereken bir darboğaz değil, üzerine gereksiz iş üretilen bir başlıktır.
Tarama Bütçesi Nedir ve Google Bunu Nasıl Tanımlıyor
Tarama bütçesi, Google'ın bir sitede tarayabildiği ve taramak istediği URL kümesidir. İki ayrı büyüklüğün kesişiminden çıkar: sunucunun kaldırabildiği yük (tarama kapasitesi sınırı) ve Google'ın o siteyi tarama isteği (tarama talebi).
Genelde gözden kaçan teknik ayrıntı, buradaki "site" tanımının alan adı değil ana makine adı olmasıdır. Google'ın tarama altyapısı açısından www.example.com ile code.example.com ayrı sitelerdir ve ayrı tarama bütçelerine sahiptir. Ağır bir arşivi alt alan adına taşımak ana sitenin bütçesini rahatlatır, ama o arşiv kendi bütçesiyle baştan başlar; her site aynı varsayılan ve ölçülü kapasite sınırıyla açılır.
İkinci ayrım daha önemli: taranmak indekslenmek demek değildir. Google taradığı her sayfayı dizine eklemez. Tarama sonrasında her sayfa değerlendirilir, benzerleriyle birleştirilir ve dizine uygun olup olmadığı ayrıca incelenir. Tarama ile indeksleme arasındaki bu iki aşamalı ilişki SEO'nun temel işleyişinin parçasıdır ve konuyla ilgili yanlış anlamaların neredeyse tamamı bu iki aşamanın birbirine karıştırılmasından doğar.
Bu Konu Kimin İçin Gerçekten Geçerli
Google kılavuzunu ileri düzey bir kaynak olarak tanımlıyor ve üç site profili sayıyor:
- İçeriği sık aralıklarla (haftada bir gibi) değişen büyük siteler, yani bir milyondan fazla benzersiz sayfa
- İçeriği her gün değişen orta ölçekli veya büyük siteler, yani on binden fazla benzersiz sayfa
- URL'lerinin büyük bir kısmı Search Console'da "Keşfedildi - şu anda dizine eklenmiş değil" olarak sınıflanan siteler
Google bu sayıların bire bir eşik olmadığını, siteyi sınıflandırmaya yardımcı olacak kaba tahminler olduğunu ayrıca belirtiyor. Yani "sayfa sayım bir milyonun altında, konu beni ilgilendirmiyor" biçiminde bir okuma da doğru değil. Belirleyici olan sayfa sayısı ile değişim hızının birlikte ürettiği yüktür.
Search Console tarafında da benzer bir çizgi var. Tarama İstatistikleri raporunun kendi dokümantasyonu, bin sayfadan az içeriğe sahip bir sitede bu raporu kullanmaya veya tarama ayrıntılarıyla bu düzeyde ilgilenmeye gerek olmadığını söylüyor.
Üç kriter içinde en kullanışlısı üçüncüsü. İlk ikisi sitenin büyüklüğünü tarif eder, üçüncüsü ise belirtiyi tarif eder: Google URL'leri biliyor fakat taramaya sıra gelmiyor. Sayfa sayısı eşiğin çok altında olsa bile bu birikme varsa incelenecek bir şey vardır. Tersi de geçerli: sayfa sayısı yüksek ama böyle bir birikme yoksa darboğaz tarama tarafında değildir.
Bütçenin İki Bileşeni
Tarama kapasitesi sınırı
Kapasite sınırı, Google'ın sunucuda aşırı yoğunluk yaratmadan tarama yapabilmesi için hesapladığı üst sınırdır. Paralel bağlantıların hem sayısını hem sürelerini hesaba katar. Her site aynı varsayılan ve ölçülü sınırla başlar; talep artar ve site sağlıklı kalırsa Google'ın sistemleri bu sınırı zaman içinde otomatik ayarlar.
Sınırı yukarı çeken şey tutarlılıktır. Site istikrarlı yanıt veriyor ve yanıt süreleri (gecikme ve ilk bayta kadar geçen süre dahil) sabit kalıyor ya da iyileşiyorsa sınır yükselir ve tarama için daha fazla bağlantı kullanılabilir hale gelir. Aşağı çeken şey ise yavaşlama, 5xx sunucu hataları ve 429 gibi sıklık sınırlama sinyalleridir. Buradaki pratik sonuç şu: tarama tarafında sunucu performansı bir konfor konusu değil, doğrudan bir kapasite konusudur.
Tarama talebi
Talep tarafını sitenin boyutu, güncelleme sıklığı, sayfa kalitesi ve diğer sitelere kıyasla alaka düzeyi belirler. Google bunların içinden site sahibinin etkileyebileceği üç faktörü ayırıyor:
- Algılanan envanter: yol gösterilmezse Google sitede bildiği URL'lerin tümünü veya çoğunu taramaya çalışır. Bu URL'lerin çoğu birbirinin kopyasıysa ya da başka bir nedenle taranması istenmiyorsa tarama boşa gider. Google bunu olumlu yönde en fazla kontrol edilebilen faktör olarak tanımlıyor.
- Popülerlik: internette daha popüler olan URL'ler, sistemlerde daha güncel kalsınlar diye genellikle daha sık taranır.
- Eskilik: Google değişiklikleri yakalayabilmek için dokümanları belirli aralıklarla yeniden tarar.
Kapasite ile talebin ilişkisi tek yönlü değildir. Talep düşükse kapasite sınırına hiç yaklaşılmasa bile Google siteyi daha az tarar. Sunucuyu güçlendirmek, Google'ın taramak istemediği bir siteyi taramak istemesini sağlamaz.
Bir ayrıntı daha: kapasite sınırı tüm Google tarayıcıları arasında paylaştırılır. Bir tarayıcıdan gelen yüksek talep, örneğin dinamik reklam hedefleri yayınlanan bir sitede AdsBot'un talebi, diğer tarayıcılar için kullanılabilir kapasiteyi azaltabilir.
Tarama Bütçesini Tüketen URL Kalıpları
Bütçe sorunu yaşayan sitelerde sorun genellikle sayfa sayısı değildir. Sorun, o sayfa sayısının kaç katı kadar URL üretildiğidir.
Filtreli gezinme ve parametre kombinasyonları. Kullanıcı için faydalı bir özellik olan faset gezinme, URL parametrelerine dayalı en yaygın uygulamasında sonsuz URL alanları oluşturabilir. Tarayıcı bir URL'nin faydalı olup olmadığını taramadan belirleyemez; bu yüzden önce çok sayıda filtre kombinasyonuna erişir, işe yaramadıklarını ancak sonra anlar. Zarar iki katmanlıdır: aşırı tarama ve yeni faydalı URL'lerin keşfinin yavaşlaması. Bu kalıp en çok e-ticaret sitelerinde görülür, çünkü renk, beden, marka ve sıralama parametreleri birbiriyle çarpılarak büyür.
Filtreli URL'lerin dizine eklenmesine ihtiyaç duymayan siteler için Google doğrudan robots.txt öneriyor ve kuralı şu biçimde örnekliyor:
user-agent: Googlebot
disallow: /*?*products=
disallow: /*?*color=
disallow: /*?*size=
allow: /*?products=all$Filtreli URL'lerin taranması gerekiyorsa kural seti değişir. Parametre ayırıcı olarak endüstri standardı olan & karakteri kullanılır, çünkü virgül, noktalı virgül ve köşeli parantez gibi karakterleri tarayıcıların ayırıcı olarak algılaması zordur. Filtreler URL yolunda kodlanıyorsa mantıksal sıraları sabit tutulur ve yinelenen filtre bırakılmaz. Sonuç döndürmeyen bir filtre kombinasyonu genel bir hata sayfasına yönlendirilmez; karşılaşılan URL'nin kendisinde 404 döndürülür.
Yumuşak 404 sayfaları. Var olmayan bir içeriği "bulunamadı" mesajıyla ama başarılı yanıt koduyla sunan sayfalar taranmaya devam eder ve bütçeyi harcar. Bunlar Search Console'un Sayfa Dizine Ekleme raporunda ayrı bir satır olarak görünür.
Kopya içerik. Aynı listenin farklı sıralanmış sürümleri, bağlantı verilen sayfadaki bilgiyi tekrarlayan sonsuz kaydırma sayfaları ve şablondan üretilmiş yakın kopyalar benzersiz URL sayısını şişirir. Google'ın sırası nettir: önce birleştirmeye çalış, birleştiremiyorsan engelle.
Uzun yönlendirme zincirleri. Zincirin her adımı ayrı bir istektir. Sayfa 1'in sayfa 2'ye, sayfa 2'nin sayfa 3'e yönlendirdiği bir kurguda Google tek bir hedefe ulaşmak için üç istek harcar.
Kalıcı olarak kaldırılmış sayfalar. Google bildiği bir URL'yi unutmaz, ancak 404 veya 410 o URL'yi tekrar taramaması yönünde güçlü bir sinyaldir.
Robots.txt Ne Yapar ve Ne Yapmaz
Robots.txt, arama motoru tarayıcılarına sitede hangi URL'lere erişebileceklerini bildirir. Google'ın tanımı bu kadar dardır: bu dosya çoğunlukla isteklerin sitede yoğunluğa yol açmasını engellemek için kullanılır ve web sayfalarını Google'ın dışında tutmak için kullanılabilecek bir mekanizma değildir.
Bu ayrımın en somut sonucu şu: robots.txt ile engellenen bir sayfaya başka sitelerden bağlantı verilmişse Google o sayfayı hiç ziyaret etmeden URL'yi dizine ekleyebilir. URL arama sonuçlarında görünür, fakat sayfa okunamadığı için açıklama metni olmadan görünür. Bir sayfayı arama sonuçlarından gerçekten çıkarmanın yolu engelleme değil, noindex ya da şifre korumasıdır.
Engellemenin ikinci yan etkisi kaynaklardadır. Engellenen bir sayfaya yerleştirilmiş resim, video ve PDF gibi dosyalar, taranmasına izin verilen başka sayfalardan referans verilmediği sürece taramanın dışında kalır. Sayfanın anlaşılması için gerekli komut dosyası ve stil dosyalarını engellemek de aynı nedenle risklidir: Google o kaynaklara dayanan sayfayı iyi analiz edemez.
Dosyanın desteklediği ve desteklemediği şeyler
Robots.txt sanıldığından daha az şey destekler. Google yalnızca dört alanı tanır: user-agent, allow, disallow ve sitemap. Yaygın biçimde kullanılan crawl-delay gibi alanlar Google tarafından desteklenmez. Bilinmesi gereken diğer teknik sınırlar:
- Dosya UTF-8 kodlu düz metin olmalıdır. Geçersiz satırlar yok sayılır, yalnızca geçerli satırlar kullanılır.
- Google 500 kibibaytlık bir boyut sınırı uygular; bu boyuttan sonraki içerik dikkate alınmaz. Uzun kural listeleri yerine hariç tutulacak içeriği ayrı bir dizine toplamak dosyayı küçültür.
- Yol değerleri büyük küçük harfe duyarlıdır ve kök dizini belirtmek için eğik çizgiyle başlamalıdır. Alan adları ise duyarlı değildir, User-agent ile user-agent aynı biçimde değerlendirilir.
- Google dosyanın içeriğini genellikle 24 saate kadar önbellekte tutar. Yani yapılan bir düzeltme her zaman anında yürürlüğe girmez.
Dosyanın erişilemez olması da kendi başına bir davranış üretir. Robots.txt 5xx döndürürse Google ilk 12 saat boyunca siteyi taramayı durdurur ve dosyayı getirmeyi denemeye devam eder; yeni sürümü alamazsa 30 gün boyunca son iyi sürümü kullanır. Sunucu tarafındaki bir bakım hatası bu yüzden tek başına bir tarama kesintisine dönüşebilir.
Tarama Bütçesi İçin Robots.txt Kullanırken Yapılan Üç Hata
Engellenen sayfanın bütçesi başka sayfaya aktarılmaz. En yaygın tavsiye "gereksiz sayfaları kapat ki bütçe önemli sayfalara gitsin" biçimindedir. Google bunu doğrudan reddediyor: robots.txt diğer sayfalara geçici olarak tarama bütçesi tahsis etmek için kullanılmaz, çünkü site tarama kapasitesi sınırına ulaşmadığı sürece Google boşa çıkan bütçeyi diğer sayfalara aktarmaz. Dosyanın işi, taranmasını istemediğiniz sayfa ve kaynakları engellemektir.
Bütçe tasarrufu için noindex kullanmak taramayı azaltmaz. Noindex bir tarama tasarrufu aracı değildir. Google yine tarama isteğini gönderir, yanıtta etiketi veya üstbilgiyi görür ve sayfayı taramayı orada bırakır. İstek zaten yapılmıştır; kazanılmış bir tarama süresi yoktur.
Engellemek unutturmak değildir. Robots.txt ile engellenen URL'ler uzun süre tarama sırasının parçası olarak kalır ve engelleme kaldırıldığında yeniden taranır. Kalıcı olarak kaldırılan içerik için doğru sinyal engelleme değil, 404 veya 410 durum kodudur.
Üçü birlikte okunduğunda dosyanın rolü netleşiyor. Robots.txt, hiç taranmasını istemediğiniz alanları baştan kapatmak için iyi bir araçtır. Mevcut bir tarama darboğazını sonradan çözmek için ise beklendiği gibi çalışmaz.
Arama Botunu Engellemek Görünürlüğü Kapatır
Bot engelleme kararı verilirken arama tarayıcısı ile yapay zeka ürünlerine yönelik jetonlar sık sık birbirine karışıyor. Bunlar aynı şey değildir.
Googlebot arama tarafındaki tarayıcıdır. Googlebot'u engellemek sayfanın taranmasını ve dolayısıyla dizine girmesini durdurur; arama görünürlüğü kapanır. Google-Extended ise bağımsız bir ürün jetonudur ve sitede taranan içeriğin Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki temellendirmede kullanılıp kullanılamayacağını yönetir. Google kendi dokümantasyonunda bu jetonun bir sitenin Google Arama'ya dahil edilmesini etkilemediğini ve arama sıralamasında sinyal olarak kullanılmadığını belirtiyor.
Pratik sonuç: yapay zeka tarafındaki kullanımı sınırlamak istiyorsanız kullanacağınız jeton arama tarayıcısı değildir. Ters yönde ise asimetri var. Aramayı kapatan bir kural yapay zeka görünürlüğünü de daraltır, çünkü temellendirme sırasında modele içerik sağlayan kaynakların bir kısmı Google Arama dizinidir. Arama dizininde olmayan bir sayfa oradan da beslenemez.
Search Console Tarama İstatistikleri Raporuyla Teşhis
Tahminden veriye geçmenin yolu Search Console'daki Tarama İstatistikleri raporudur. Rapor mülk ayarları altında yer alır ve yalnızca kök düzeyindeki mülkler için çalışır: alan mülkü ya da kök düzeyinde URL ön eki mülkü. Alt klasör düzeyinde tanımlanmış bir mülkte bu rapor görünmez.
Rapor toplam tarama isteği, toplam indirme boyutu, ortalama yanıt süresi, ana makine durumu, tarama yanıtları, dosya türü, tarama amacı ve Googlebot türü kırılımlarını verir. Teşhis açısından üç okuma öne çıkıyor:
- Ana makine durumu ve ortalama yanıt süresi: kapasite sınırının hangi yöne gittiğini gösterir. Yanıt süresi bozuluyor veya sunucu hataları görünüyorsa sorun URL envanterinde değil sunucudadır.
- Tarama amacı kırılımı: keşif ile yenileme arasındaki dağılım, taramanın yeni URL bulmaya mı yoksa bilinen URL'leri tazelemeye mi harcandığını söyler.
- Tarama yanıtları: yönlendirme ve hata yanıtlarının toplam içindeki payı, israfın nerede biriktiğini gösterir.
Raporu yorumlarken iki teknik ayrıntı yanlış okumaya yol açıyor. Birincisi, sunucu tarafı yönlendirmelerde zincirin her adımı ayrı bir istek olarak sayılır, dolayısıyla yönlendirme zincirleri toplam istek sayısını şişirir. İkincisi, değerlendirilip robots.txt nedeniyle yapılmayan taramalar da tarama toplamlarına dahil edilir. Rapordaki örnek URL'ler ise tam liste değil temsili bir seçkidir; listede görünmeyen bir URL için istek yapılmadığı sonucu çıkmaz. Bu raporu Search Console verilerini düzenli takip eden bir akışın parçası olarak okumak, tek seferlik bakıştan çok daha anlamlı sonuç verir.
Küçük ve Orta Ölçekli Sitede Bu Zaman Nereye Harcanmalı
Sayfa sayısı birkaç yüz ile birkaç bin arasında olan ve içeriği her gün değişmeyen bir sitede tarama bütçesi optimizasyonu ölçülebilir bir kazanç üretmez. Google'ın bu tür siteler için söylediği yalnızca iki iş var: site haritasını güncel tutmak ve Sayfa Dizine Ekleme raporunu düzenli kontrol etmek.
Bu ikisi zaten yapılıyorsa kalan enerjiyi tarama tarafına yatırmanın karşılığı yoktur. Sayfalar yayınlandıkları gün taranıyorsa tarama sizin darboğazınız değildir. Darboğaz büyük olasılıkla içeriğin karşıladığı bilgi ihtiyacında, iç bağlantı yapısında veya sayfanın sorguya uygunluğundadır.
Yine de her ölçekte doğru olan birkaç uygulama var. Bunlar tarama bütçesi için değil, kendi başlarına doğru oldukları için önerilir: site haritasını güncel tutmak ve değişen içerikte lastmod etiketini kullanmak, uzun yönlendirme zincirlerinden kaçınmak, sayfaların hızlı yüklenmesini sağlamak ve son taramadan bu yana değişmemiş sayfalar için 304 yanıtını destekleyerek HTTP önbelleğinden yararlanmak.
Sık Sorulan Sorular
Robots.txt dosyası olmayan bir site cezalandırılır mı?
Hayır. Google robots.txt bulunmayan bir sitede tarama kısıtlaması olmadığını varsayar ve taramaya devam eder. Bu dosya bir gereklilik değil, tarama trafiğini yönetmek isteyen siteler için bir araçtır. Tarama hızını sınırlamak amacıyla dosyaya 401 veya 403 gibi yanıtlar döndürmek de doğru bir yöntem değildir.
Disallow ettiğim sayfa Google'da hâlâ görünüyor, neden?
Çünkü disallow taramayı engeller, dizine eklemeyi değil. Sayfaya başka sitelerden bağlantı verilmişse Google URL'yi ziyaret etmeden dizine ekleyebilir ve sonuç açıklama metni olmadan görünür. Sayfayı sonuçlardan çıkarmak için engellemeyi kaldırıp noindex kullanmak gerekir, çünkü engellenen bir sayfada Google noindex etiketini zaten göremez. Tarama ve indeksleme kurallarını üst üste koymak bu şekilde birbirini etkisiz kılabilir.
Crawl-delay direktifi Googlebot'u yavaşlatır mı?
Yavaşlatmaz, çünkü Google crawl-delay alanını desteklemez. Google'ın tanıdığı alanlar user-agent, allow, disallow ve sitemap ile sınırlıdır. Başka arama motorları bu alanı yorumlayabildiği için dosyada bulunması zararsızdır, ancak Googlebot davranışını değiştirmez.
Tarama bütçemi nasıl artırırım?
Google iki yol tarif ediyor. Birincisi sunucu kaynağı eklemek, ki bu yalnızca site kendi sunucu kapasitesi nedeniyle taranamıyorsa anlamlıdır; URL Denetleme aracındaki ana makine yükü hatası bunun göstergesidir. İkincisi içerik kalitesini hedeflenen Google ürünü için iyileştirmek: Google Arama tarafında popülerlik, genel kullanıcı değeri, içeriğin benzersizliği ve sunum kapasitesi bu hesaba giriyor. Kısa yol yok, ikinci maddenin karşılığı sitenin genel kalitesidir.
