Ölçüm aslında üç ayrı soruyu cevaplıyor
Yapay zeka görünürlüğü tek bir sayıyla ölçülmez. Panellerin ekrana bastığı skor, birbirinden bağımsız üç sorunun cevabını tek göstergede birleştirir: hangi sorular soruldu, cevapta ne göründü, aynı cevapta rakipler ne kadar yer tuttu. Bu üç soru farklı yöntemlerle ölçülür ve farklı biçimlerde bozulur. Skoru okumadan önce hangi sorunun cevabına baktığınızı bilmeniz gerekir.
Prompt monitoring
Prompt monitoring, önceden belirlenmiş bir soru setini ChatGPT, Gemini, Perplexity, Google AI Overviews ve AI Mode gibi yüzeylerde belirli aralıklarla çalıştırıp gelen cevapları kaydeden ölçüm biçimidir. Ölçtüğü şey nettir: o setin içindeki sorularda ne olduğu. Ölçmediği şey de aynı ölçüde nettir. Gerçek kullanıcıların hangi soruları hangi sıklıkla sorduğunu göstermez. Prompt seti bir veri değil, sizin talep hakkındaki varsayımınızdır. Set yanlış kurulduğunda ölçüm kusursuz çalışır ve yanlış evreni ölçer.
Share of voice
Share of voice, markanızın anıldığı cevap sayısını, siz ve tanımlı rakipleriniz için üretilen toplam görünürlüğe bölen göreli bir metriktir. Kategorideki konumunuzu gösterir. Pazar payını, talep hacmini veya satın alma niyetini göstermez. Kritik detay şudur: payda sizin seçtiğiniz rakip listesidir. Listeye bir marka eklemek herkesin payını matematiksel olarak düşürür. Rakip listesi değiştiğinde skor da değişir, ama bu değişimin markanızın performansıyla ilgisi yoktur.
Visibility score
Visibility score, anılma oranını konum, sıra, bağlam ve bazen duygu analizi gibi sinyallerle ağırlıklandırarak tek sayıya indiren türev bir göstergedir. Ölçtüğü şey aslında sağlayıcının ağırlıklandırma tercihidir. Standart bir büyüklük değildir. Bir platformdaki 62 puan ile başka bir platformdaki 62 puan aynı gerçekliği tarif etmez ve bu iki sayı birbirinin yerine kullanılamaz.
| Metrik | Ne ölçer | Ne ölçmez | Sonucu en çok ne bozar |
|---|---|---|---|
| Prompt monitoring | Tanımlı soru setinde cevaplarda ne göründüğü | Gerçek soru dağılımı ve arama hacmi | Prompt setinin temsil gücü ve koşum sayısı |
| Share of voice | Tanımlı rakip kümesine göre görünürlük payı | Pazar payı ve talep büyüklüğü | Rakip listesinin değişmesi |
| Visibility score | Sağlayıcının ağırlıklandırdığı birleşik sinyal | Sağlayıcılar arası karşılaştırılabilir bir düzey | Ağırlık formülünün ve metodolojinin güncellenmesi |
Alıntılanma ile marka bahsi ayrı metriklerdir
Bir cevabın üretilmesi sırasında birbirinden ayrı dört olay yaşanır. Sayfanız aday kaynak havuzuna girer, kaynak olarak alıntılanır, marka adınız cevabın metninde geçer ve sayfanızdaki bilgi cevaba gerçekten taşınır. Bunların dördü aynı anda olabilir, tek başına da olabilir. Sayfanız kaynak listesinde yer alırken marka adınız cevapta hiç geçmeyebilir. Ya da model markanızı isimle önerirken hiçbir sayfanıza bağlantı vermeyebilir.
Bu ayrımın somut bir kanıtı var. Ahrefs'in 540 bin sorgu çifti üzerinde yaptığı analiz, AI Overview cevaplarının %59,41'inde hiçbir marka veya varlık adının geçmediğini, AI Mode'da bu oranın %34,66 olduğunu buldu. Aynı analizde AI Overview cevaplarının %11'i hiç kaynak göstermiyor, AI Mode'da bu oran %3'e iniyor. Yani cevapların büyük çoğunluğunda kaynak var ama marka adı yok. Alıntılanma ve marka bahsi tek bir görünürlük hanesine yazıldığında bu tablo görünmez hale gelir.
İki metriğin kaynağı da farklıdır. Alıntı çoğunlukla sizin sayfanızdan gelir ve teknik erişilebilirlikle, pasaj kalitesiyle ilgilidir. Marka bahsi ise sıklıkla üçüncü taraf yüzeylerden beslenir. Model adınızı bir liste yazısından, bir haber içeriğinden veya bir sektör sayfasından alır. Bu yüzden dış otorite yüzeyleri, örneğin haber ve sektör sitelerinde adınızın geçtiği yayın ve bağlantı çalışmaları, marka bahsi metriğini alıntı metriğinden bağımsız biçimde etkiler. Cevap motorlarının kaynak seçme mantığını daha ayrıntılı ele alan cevap motoru optimizasyonu yazısı bu iki yüzeyin nasıl ayrıştığını gösteriyor.
Aynı prompt neden farklı cevap üretiyor?
Değişkenliğin iki bağımsız kaynağı var ve ikisini karıştırmamak gerekiyor.
Birincisi model katmanı. Thinking Machines Lab'in yayımladığı deneyde aynı istem sıcaklık sıfırda bin kez çalıştırıldığında 80 farklı tamamlama üretildi. İlk 102 token bütün koşumlarda aynıydı, ayrışma ondan sonra başladı. Çalışmanın asıl bulgusu nedenle ilgili: yaygın açıklama olan kayan nokta aritmetiği tek başına yeterli değil, sorunun kaynağı çekirdeklerin batch invariance taşımaması. Sunucu yükü değiştikçe aynı anda işlenen istek sayısı değişiyor, sayısal sonuç da onunla birlikte kayıyor. Ekip batch invariant çekirdeklerle testi tekrarladığında bin koşumun tamamı aynı çıktıyı verdi. Pratik anlamı şu: cevabınız, o an sunucuda kaç kişinin daha soru sorduğuna bağlı olarak değişebiliyor.
İkincisi retrieval katmanı. Cevap üretilmeden önce arama yapılır. Google'ın kendi dokümantasyonu AI Mode'da query fan-out kullanıldığını, modelin eş zamanlı ve ilişkili sorgular üretip ek sonuç çektiğini açıkça tarif ediyor. Bu alt sorgular her koşumda birebir aynı olmak zorunda değil, dolayısıyla aday sayfa havuzu da sabit değil.
İki katmanın birleşik etkisi ölçümde şöyle görünüyor. Ahrefs'in aynı sorgular için AI Overviews ve AI Mode cevaplarını karşılaştırdığı analizde iki yüzeyin alıntıladığı URL'ler yalnızca %13,7 oranında örtüşüyor, buna karşılık cevap çiftlerinin %89,7'si anlamsal benzerlik ölçümünde 0,8 eşiğinin üzerinde kalıyor. Sonucun özü kararlı, kaynak listesi kararsız. Aynı çalışma AI Overview alıntılarının %45'inin üretimden üretime değiştiğini de not ediyor.
Marka düzeyinde de tablo benzer. SparkToro'nun tüketici ürün kategorisinde gönüllü paneliyle topladığı yaklaşık üç bin koşumluk veri setinde, aynı marka listesinin herhangi iki cevapta tekrar etme ihtimali yüzde birin altında kaldı. Aynı listenin aynı sırayla tekrar etme ihtimali ise binde bir düzeyinde. Bu çalışma tek bir kategoride ve gönüllülerin manuel kayıtlarıyla yürütüldüğü için sayılar sektörden sektöre değişebilir, ancak yönü açık: sıralama tabanlı bir okuma bu ortamda anlamlı değil.
Tek çalıştırma bir ölçüm sayılmaz
Anılma oranı bir orandır ve her oranın bir belirsizlik payı vardır. Bu pay koşum sayısı arttıkça daralır. Gerçek anılma oranı %30 olan bir marka için, koşum sayısına göre yüzde 95 güven aralığının yaklaşık genişliği şöyledir.
- 10 koşum: yaklaşık ±28 puan
- 25 koşum: yaklaşık ±18 puan
- 50 koşum: yaklaşık ±13 puan
- 100 koşum: yaklaşık ±9 puan
- 250 koşum: yaklaşık ±6 puan
- 500 koşum: yaklaşık ±4 puan
- 1000 koşum: yaklaşık ±3 puan
Bu tablonun okunuşu şudur. 20 koşum yaparak %25 anılma oranı raporlayan bir panel, aslında gerçek oranın kabaca %5 ile %45 arasında olduğunu söylüyordur. Böyle bir aralıkla "geçen aya göre iyileştik" cümlesi kurulamaz.
Rakip karşılaştırması daha da zordur, çünkü iki belirsizlik üst üste biner. Biri %30, diğeri %35 ölçülen iki marka, her biri 100 koşumla ölçüldüğünde aradaki farkın güven aralığı yaklaşık ±13 puandır. Yani 5 puanlık fark gürültünün içindedir. Bu büyüklükteki bir farkı istatistiksel olarak ayırmak için marka başına yaklaşık 700 koşum gerekir.
Bir uyarı gerekiyor. Bu hesap koşumların birbirinden bağımsız olduğunu varsayar. Gerçekte bağımsız değillerdir. Oturum hafızası, konum, dil, hesap geçmişi, önbellek ve model sürümü koşumları birbirine bağlar. Dolayısıyla gerçek belirsizlik yukarıdaki rakamların üzerindedir ve bu sayılar bir alt sınır olarak okunmalıdır.
İki panel aynı markaya neden farklı skor veriyor?
Aynı markayı aynı hafta ölçen iki araç birbirinden çok uzak sonuçlar verebiliyor. Nedenleri metodolojiktir ve çoğu arayüzde görünmez.
- Prompt seti. Farkın en büyük kaynağı budur. İki araç farklı soru setleri kullanıyorsa farklı evrenleri ölçüyorlar demektir ve skorları hiçbir koşulda karşılaştırılamaz.
- Koşum sayısı ve zamanlama. Günde bir kez ölçen araçla günde on kez ölçen aracın gürültü seviyesi aynı değildir.
- Platform karması. Hangi motorların hangi ağırlıkla toplandığı skoru doğrudan kaydırır.
- Erişim yöntemi. Ölçüm API üzerinden mi yoksa ürün arayüzünden mi yapılıyor? API cevabı kişiselleştirme, hafıza ve konum sinyallerinin çoğunu taşımaz.
- Metrik tanımı. Bazı araçlar marka adının metinde geçmesini sayar, bazıları yalnızca bağlantılı alıntıyı sayar. Aynı isimli metrik iki farklı şeyi ölçebilir.
- Ağırlıklandırma. Cevabın başında anılmakla sonunda anılmak aynı puanı almayabilir ve bu tercih sağlayıcıya özgüdür.
- Dil ve ülke. Türkçe sorguların cevap davranışı İngilizce sorgularınkinden farklıdır, karışık ölçüm ikisini birbirine karıştırır.
Buradan çıkan kural basit. Farklı araçların skorları karşılaştırılmaz. Tek bir aracın kendi zaman serisi karşılaştırılır, o da metodoloji sabit kaldığı sürece. Sağlayıcı prompt setini genişlettiğinde veya platform karmasını güncellediğinde seri kopar ve grafikte bu kopuş çoğu zaman normal bir dalgalanma gibi görünür.
Kendi sunucunuzdaki veri ölçümün sayılabilir katmanı
Prompt monitoring dışarıdan bakar ve örneklemle çalışır. Kendi mülkünüzdeki veri ise saymaya dayanır. İkisi birbirinin alternatifi değil, tamamlayıcısıdır.
Search Console'un üretken yapay zeka performans raporu, sitenizin AI Overviews ve AI Mode içindeki gösterimlerini ayrı bir görünümde toplar. Bu görünümün sınırlarını bilmek gerekir. Rapor gösterim verisi üzerine kuruludur, sıralama metriği taşımaz ve sayfanın cevabın içinde nasıl kullanıldığını açıklamaz. Grafiğin mülk düzeyinde, sayfa tablosunun sayfa düzeyinde toplama yapması nedeniyle grafik toplamı ile tablo toplamı birbirini tutmayabilir. Rapor bütün mülklere açılmış değildir ve verinin en yeni ucu eksik olabilir. Google ayrıca üretken yapay zeka yüzeylerinin çekirdek arama sistemlerine dayandığını, ayrı bir optimizasyon disiplini gerektirmediğini belirtiyor.
İkinci kaynak referans trafiğidir. Analytics tarafında yapay zeka arayüzlerinden gelen oturumlar ayrı bir kanal olarak izlenebilir. Bu veri yalnızca tıklanan alıntıyı gösterir. Tıklanmayan alıntıyı ve hiç bağlantı verilmeden gerçekleşen marka bahsini göstermez, dolayısıyla görünürlüğün tamamını temsil etmez.
Üçüncü kaynak sunucu loglarıdır. OpenAI'ın yayıncı dokümantasyonu, arama sonuçlarında yer alabilmek için OAI-SearchBot'a izin verilmesini, eğitim dışında kalmak için GPTBot'un engellenmesini ayrı ayrı tanımlar. Log tarafında bu ajanları birbirinden ayırmak, sayfanızın hangi amaçla çekildiğini gösterir ve bu bilgi hiçbir panelde görünmez. Kaynak seçiminin sayfa özellikleriyle nasıl ilişkilendiğini korpus düzeyinde inceleyen Türkiye pazarına özel AI Overview araştırmamız, bu teknik katmanın ölçüm üzerindeki etkisini örneklerle gösteriyor.
Ölçüm kurulumunda karara bağlanacak beş şey
- Prompt seti dondurulur ve sürümlenir. Set gerçek müşteri sorularından üretilir, markalı ve markasız sorular ayrı tutulur. Set değiştiğinde yeni sürüm açılır ve eski seriyle karşılaştırma yapılmaz.
- Koşum sayısı baştan belirlenir. Hedef, izlemek istediğiniz değişimin büyüklüğüne göre seçilir. Beş puanlık bir farkı takip edecekseniz onlarca değil yüzlerce koşum gerekir.
- Metrikler ayrı hanelerde tutulur. Alıntılanma, marka bahsi ve cevaba taşınan bilgi tek skorda toplanmaz. Üçü farklı sebeplerle yükselir ve farklı müdahalelerle düzelir.
- Ham cevaplar arşivlenir. Skor değil, cevap metni ve kaynak listesi saklanır. Sağlayıcı metodolojisini güncellediğinde geriye dönük yeniden hesaplama ancak ham veriyle mümkündür.
- Rakip kümesi sabitlenir. Share of voice hesabına giren markalar baştan tanımlanır. Liste sonradan genişletilirse önceki dönemler de aynı listeyle yeniden hesaplanır.
Bu beş karar verildiğinde ölçüm bir gösterge panosu olmaktan çıkıp karşılaştırılabilir bir seriye dönüşür. Kurumsal tarafta bu kurulumun tasarımı, prompt setinin oluşturulması ve düzenli koşumların yönetimi yapay zeka görünürlük çalışmasının ilk adımıdır, çünkü ölçemediğiniz bir yüzeyde yapılan iyileştirmenin sonucu da okunamaz.
Sıkça Sorulan Sorular
Kaç promptla ölçüme başlamak yeterli olur?
Doğru soru prompt sayısı değil, prompt başına koşum sayısıdır. Yirmi promptu ayda bir kez çalıştırmak, beş promptu haftada on kez çalıştırmaktan daha az bilgi üretir. Dar bir sette yüksek koşumla başlayıp seti zamanla genişletmek, geniş bir seti tek koşumla taramaktan daha güvenilir sonuç verir.
Anılma oranım düştüyse sayfamda bir sorun mu var?
Önce üç şey elenmelidir. Düşüş güven aralığının içinde mi, prompt seti veya rakip listesi değişti mi, sağlayıcı metodolojisini güncelledi mi? Bu üçü elendikten sonra hâlâ düşüş varsa ve düşüş birden fazla motorda birlikte görünüyorsa sayfa tarafına bakmak anlamlıdır.
Alıntı alıyorum ama trafik gelmiyor ölçüm başarısız mı?
Hayır, ölçüm iki farklı olayı ayırıyor demektir. Alıntı görünürlüktür, tıklama davranıştır. Cevabın kendisi kullanıcının sorusunu tamamen karşıladığında alıntı tıklanmaz. Bu durumda görünürlüğü trafikle değil, marka bahsi oranı ve markalı arama hacmi gibi ikincil göstergelerle birlikte okumak gerekir.
Ücretsiz tek seferlik görünürlük testleri işe yarar mı?
Bir başlangıç fotoğrafı olarak yararlıdır, ölçüm olarak değil. Tek koşum, güven aralığı en geniş olan ölçümdür ve o koşumda markanız görünmediği için görünmediğiniz sonucuna varılamaz. Bu testler ancak sabit bir sette düzenli tekrarlandığında bir seriye dönüşür.
