Pay Per Crawl Nedir?

Pay Per Crawl botlardan içerik başına ücret alma modelidir

Bir yapay zeka botu siteye geldiğinde soru artık yalnızca "girsin mi girmesin mi" değil. Cloudflare'in Pay Per Crawl adını verdiği yaklaşımda üçüncü bir cevap var. Bot içeriği alabilir, ama aldığı her sayfa için ödeme yapar. Site sahibi alan adı bazında düz bir fiyat belirler, bot bu fiyatı kabul ederse sayfayı alır, kabul etmezse alamaz.

Model şu anda kapalı beta aşamasında. Panelden herkesin açabileceği bir düğme değil, başvuruyla girilen bir program. Cloudflare bu akışta Merchant of Record rolünü üstleniyor, yani ücreti botun operatöründen tahsil edip yayıncıya aktaran taraf o. Fiyat isteği başına en az 0,001 dolar olarak belirlenebiliyor ve ücret yalnızca botun içeriği gerçekten aldığı, yani HTTP 200 dönen isteklerde işliyor.

HTTP 402 kodu bu modelde ne yapar?

402 Payment Required, HTTP standardında uzun süredir ayrılmış ama pratikte kullanılmadan duran bir durum kodu. Anlamı sade. Sunucu isteği reddetmiyor, kaynağın karşılığında ödeme beklediğini söylüyor. 404 "yok" der, 403 "izin yok" der, 402 ise "var ama bedeli var" der.

Cloudflare bu kodu botlarla yapılan kısa bir pazarlık diline çevirmiş. Ödeme niyeti taşımayan bir bot ücretli içeriği istediğinde 402 yanıtı ve crawler-price başlığında fiyat geliyor. Bot bu fiyatı kabul ediyorsa isteği crawler-exact-price başlığıyla tekrarlıyor. Tersi de mümkün. Bot en baştan crawler-max-price ile ödemeye razı olduğu üst sınırı bildirir, fiyat bu sınırın altındaysa içerik doğrudan 200 ile gelir ve crawler-charged başlığı ne kadar ücretlendirildiğini söyler.

Burada sık karıştırılan bir ayrım var. Cloudflare'in AI Crawl Control panelinde botlara dönecek engelleme yanıt kodunu 402 olarak seçmek mümkün ve bu seçenek ücretli planlarda açık. Ama tek başına 402 döndürmek para kazandırmaz. O yanıt sadece "bu içerik ücretli" mesajını verir. Fiyatı taşıyan, tahsilatı yapan ve mutabakatı kuran katman ayrıdır, kapalı betadaki programın parçasıdır. Panelde 402 seçip gelir bekleyen bir site, pratikte botu engellemiş olur.

Ödeme yapan botun kimliği nasıl doğrulanıyor?

Ücretlendirmenin çalışması için botun kimliğinin kanıtlanabilir olması gerekiyor. Bir user agent dizesini taklit etmek kolaydır, dolayısıyla faturayı user agent'a kesmek mümkün değil. Cloudflare bunun için Web Bot Auth yöntemini kullanıyor. Programa katılan bot operatörü bir Ed25519 anahtar çifti üretir, açık anahtarını herkese açık bir JWK dizininde yayımlar, Cloudflare'e kaydolur ve her isteğini signature-agent, signature-input ve signature başlıklarıyla imzalar.

Bu gereklilik pratikte önemli bir sonuç doğuruyor. Kayıtlı olmayan bir bot için "ücretlendir" ayarı fiilen "engelle" demektir. Ödeme altyapısına bağlı olmayan tarayıcı fiyatı görür, ödeyemez, içeriği alamaz. Yani ücretlendirme kararında asıl soru "ne kadar isteyeyim" değil, "siteye gelen bot trafiğinin ne kadarı ödeyebilecek durumda".

x402 protokolü hangi boşluğu dolduruyor?

402 kodu tek başına eksik bir cümle. "Ödeme gerekli" der ama ne kadar, hangi para birimiyle, nereye ve ödemenin yapıldığı nasıl kanıtlanır sorularını cevaplamaz. x402 tam olarak bu eksiği kapatmak için tanımlanmış açık bir protokol. Standardı yürütmek için Cloudflare ve Coinbase bir vakıf kurdu.

Akış üç başlığın üzerine kurulu. Sunucu 402 ile birlikte PAYMENT-REQUIRED başlığında kabul ettiği ödeme şemalarını, fiyatı, ağı ve hedef adresi base64 kodlanmış bir JSON nesnesi olarak gönderir. İstemci ödemeyi yetkilendirip isteği PAYMENT-SIGNATURE başlığıyla tekrarlar. Sunucu da PAYMENT-RESPONSE ile mutabakatın sonucunu bildirir. Hesap açma, API anahtarı alma veya abonelik adımı yok. Protokolün insan kullanıcıdan çok makineler arası kullanım için tasarlanmış olmasının nedeni bu.

Cloudflare bu protokolü tarayıcıların ötesine taşıyan bir katman da duyurdu. Monetization Gateway, ağının arkasındaki her kaynağı ücretlendirebilmeyi hedefliyor. Kapsamına web sayfası, veri seti, API ve MCP aracı giriyor. Ödeme stablecoin ile ve satıcının cüzdanına doğrudan akacak biçimde tarif ediliyor, yani Cloudflare'in faturalandırma katmanına bağlı değil. Bu katman erken erişim listesiyle açılıyor, Pay Per Crawl gibi genel kullanıma açılmış değil.

Site sahibinin üç seçeneği ve her birinin bedeli

Karar üç seçeneğe iniyor ve üçünün de bir bedeli var. Bedelsiz seçenek yok, sadece hangi bedelin ödendiği değişiyor.

Erişimi kapatmanın görünürlük tarafındaki maliyeti

Bu kararın en pahalı hatası, tüm yapay zeka botlarını tek kategori sayıp topluca kapatmak. Bir modelin eğitim verisini toplayan tarayıcı ile kullanıcının sorusuna cevap üretirken kaynak arayan tarayıcı aynı iş için gelmiyor, ikisini kapatmanın sonucu da aynı değil.

OpenAI tarafında ayrım açıkça tanımlı. GPTBot, temel modellerin eğitiminde kullanılabilecek içeriği toplamak için geliyor. OAI-SearchBot ise siteleri ChatGPT'nin arama özelliklerinde sonuçlara çıkarmak için kullanılıyor, dolayısıyla bu botu engelleyen bir site ChatGPT'nin arama cevaplarında görünmüyor. ChatGPT-User otomatik tarama yapmıyor, kullanıcının o an istediği sayfayı getiriyor.

Google tarafında ayrım robots.txt üzerinden ve farklı bir mantıkla çalışıyor. Google-Extended, Googlebot'un zaten aldığı içeriğin Gemini modellerinde eğitim ve grounding amacıyla kullanılıp kullanılmayacağını belirleyen bir işaret. Google'ın dokümantasyonu bunun sınırını açıkça yazıyor. Google-Extended sitenin Google Search'e dahil olmasını etkilemiyor ve sıralama sinyali olarak kullanılmıyor. AI Overviews ve AI Mode, Search'ün içindeki özellikler olduğu için o yüzeylere giden yol Googlebot'tan geçiyor.

Pratik sonuç şu. Eğitim tarafını kapatmak ile cevap yüzeylerini kapatmak birbirinden ayrı kararlar. Telif kaygısıyla eğitim tarayıcılarını durdurmak arama görünürlüğünü mutlaka düşürmez. Ama cevap üretirken kaynak arayan tarayıcıyı ücretli hale getirmek, o tarayıcı ödeme altyapısına bağlı değilse doğrudan görünürlük kaybı demektir. Hangi botun siteye ne sıklıkta geldiğini bilmeden bu ayrımı yapmak mümkün değil. Siteye gelen yapay zeka botlarını ve nasıl karşılandıklarını görmek için ücretsiz yapay zeka tarama denetimi aracı işe başlanacak yerdir.

Pay Per Crawl kimin için mantıklı

Modelin işe yaradığı yerde üç şey aynı anda doğrudur. Birincisi, sitede kolayca yeniden üretilemeyen içerik vardır. Birincil veri, uzun arşiv, orijinal araştırma, kendi ölçümüyle üretilmiş sayısal içerik bu tanıma girer. İkincisi, bu içeriğe gelen bot trafiği anlamlı bir hacme ulaşır. Üçüncüsü, sitenin ticari modeli o yüzeydeki görünürlüğe bağımlı değildir.

Bu üçlüyü genelde büyük yayıncılar, veri tabanı işleten kurumlar, akademik ve sektörel arşivler, fiyat veya ürün verisi tutan platformlar sağlar. Bu tip yayıncılar için ücretlendirme aslında lisans pazarlığının teknik karşılığıdır. Fiyat koymak, "bu içerik bedava değil" cümlesini masaya oturmadan önce söylemenin yoludur. Nitekim kapalı betanın işleyişi de buna uygun. Katılım başvuru ya da mevcut kurumsal hesap temsilcisi üzerinden ilerliyor.

Küçük siteler için gerçekçi beklenti

Küçük ve orta ölçekli siteler için dürüst cevap şu. Bu model şu an bir gelir kalemi değil. Nedenini aritmetik gösteriyor. Ücretlendirmenin alt sınırı istek başına 0,001 dolar. Bu fiyattan bin ücretli tarama isteği bir dolar eder. Kurumsal tanıtım sitelerinin ya da hizmet sitelerinin bot trafiği bu hacmin çok altında kalır. Fiyatı yükseltmek de çözüm değildir, çünkü fiyat yükseldikçe ödemeyi seçen bot sayısı düşer.

Buna karşılık aynı sitenin kaybedebileceği şey somuttur. Hizmet ve yerel işletme sitelerinde talep, kullanıcının bir cevabın içinde markayla karşılaşmasıyla başlar. Cevap yüzeylerinde hiç görünmemek bu sitelerde ölçülebilir bir kayıptır. Denklem büyük arşivlerde ücretlendirme lehine dönüyor, küçük sitelerde dönmüyor.

Küçük siteler için doğru sıra ücretlendirme değil, kontrol ve görünürlüktür. Gereksiz tarama yükünü robots.txt ve tarama bütçesi düzenlemesiyle azaltmak, eğitim ve cevap tarayıcılarını ayrı ayrı yönetmek, ardından içeriğin cevaplarda kaynak olarak seçilebilir hale gelmesine çalışmak daha karşılığı olan bir yoldur. Bu ikinci kısım yapay zeka görünürlüğü çalışmasının alanına girer.

Ücretlendirmeden önce yapılması gereken hazırlık

Fiyat koyma kararı sıranın sonundadır. Öncesinde tamamlanması gereken adımlar var ve bunların çoğu ücretlendirmeye hiç geçilmese bile değerlidir.

1. Ölçüm. Siteye hangi yapay zeka botlarının geldiğini, hangi sıklıkta istek yaptığını ve şu anda hangi yanıtı aldığını çıkarın. Karar bu tabloya bakılarak verilir.
2. Ayrıştırma. Eğitim tarayıcıları ile arama ve cevap tarayıcılarını iki ayrı liste haline getirin. İki liste için aynı kararı vermek zorunlu değildir.
3. Tercih beyanı. robots.txt içindeki Content Signals ifadeleri, içeriğin arama, cevap üretimi ve model eğitimi için kullanılmasına dair tercihi makine tarafından okunabilir hale getirir. Cloudflare'in yönetilen robots.txt dosyasında varsayılan satır Content-signal: search=yes, ai-train=no, use=reference biçimindedir. Bu bir teknik engel değil beyandır, uyum gönüllüdür.
4. Altyapı. Ücretlendirme akışı Cloudflare üzerinden çalıştığı için sitenin trafiğinin bu ağdan geçiyor olması gerekir. Henüz bağlanmamış bir sitede Cloudflare kurulumu ilk adımdır.
5. Karar. Ölçüm tablosu ve ticari model bir araya konduğunda seçeneklerden hangisinin gerçekten kazandırdığı görünür hale gelir. Çoğu site için çıkan cevap ücretlendirme olmayacaktır.

Sıkça Sorulan Sorular

Pay Per Crawl'ı bugün her site kullanabilir mi?

Hayır. AI Crawl Control'ün botları izleme ve engelleme tarafı tüm planlarda kullanılabiliyor, engelleme yanıt kodunu özelleştirmek ücretli planlarda açık. Tahsilatı da içeren Pay Per Crawl ise kapalı beta ve katılım başvuruya bağlı.

Sadece 402 döndürmek gelir sağlar mı?

Sağlamaz. 402 yanıtı yalnızca içeriğin ücretli olduğunu bildiren bir sinyaldir. Ödemenin gerçekleşmesi için hem fiyatı ve tahsilatı yürüten katmanın hem de botun doğrulanmış kimlikle bu akışa bağlı olması gerekir. İkisi yoksa 402 pratikte bir engelleme yanıtıdır.

Ücretlendirme Google aramasındaki görünürlüğü etkiler mi?

Pay Per Crawl yapay zeka tarayıcılarına uygulanır, Googlebot ise arama tarayıcısıdır ve bu kapsamın dışındadır. Buna karşılık geniş yazılmış bir engelleme kuralı arama tarayıcılarını da yakalayabilir, bu yüzden kural yazıldıktan sonra Googlebot erişiminin doğrulanması gerekir.

x402 ile Cloudflare'in Pay Per Crawl'ı aynı şey mi?

Aynı değil. İkisi de HTTP 402 kodunu temel alır. Pay Per Crawl, Cloudflare'in kendi crawler-price başlıklarını kullanır ve tahsilatı Cloudflare'in Merchant of Record rolü üzerinden yürür. x402 ise açık bir protokoldür, Cloudflare tarafında Monetization Gateway ile birlikte kullanılır ve ödemeyi satıcının cüzdanına doğrudan akıtacak biçimde tanımlanmıştır.

Content Signals ile ücretlendirme arasındaki fark nedir?

Content Signals bir tercih beyanıdır ve robots.txt gibi gönüllü uyuma dayanır. Beyanı görmezden gelen bir tarayıcıyı teknik olarak durdurmaz. Ücretlendirme ve engelleme ise ağ seviyesinde uygulanır, yani isteği karşılayan taraf kararı fiilen dayatır.