Bir süredir GEO çalışması yapıyorum ve sürekli aynı sorunla karşılaşıyorum: Farklı yapay zeka platformlarının nasıl farklı davrandığına veya sürekli olarak tavsiye edilen şirketleri tavsiye etmeyen şirketlerden ayıran şeylerin ne olduğuna dair gerçek bir veri yok.
Bu yüzden kendimiz inşa ettik. 4 platformda 50 B2B SaaS şirketi, her biri 7 alıcı amacı istemi. Toplam 1.400 istem.
Her şirkete 4 konuda puan verildi:
- onlardan ne sıklıkla bahsedildiğini,
- göründüklerinde nerede göründüklerini,
- Yapay zeka onları nasıl tanımlıyor,
- ve bunun platformlar arasında ne kadar tutarlı olduğu.
100 üzerinden bileşik puan.
Veri setinin tamamını bırakmadan önce paylaşmaya değer birkaç şey.
Platform davranışı modeller arasında gerçekten farklıdır.
Claude test ettiğimiz şirketlerin %88’inden bahsediyor. ChatGPT ve Gemini’nin ikisi de %100’e ulaştı. Şaşkınlık %90 seviyesinde.
Bunlar birbirinin yerine geçebilecek sistemler değil. Bir marka sürekli olarak ChatGPT’de önerilebilir ve Claude’da tamamen bulunmayabilir. Yalnızca tek bir platformu kontrol ediyorsanız gerçek bir boşluğu kaçırıyorsunuz demektir.
Duygulara göre optimizasyon yapmak muhtemelen zaman kaybıdır.
50 şirketten 44’ü duyarlılık açısından 20 üzerinden 19 veya 20 puan aldı.
Yapay Zeka, onlardan bahsettiğinde neredeyse herkes hakkında olumlu konuşuyor. Skor tablomuzun en altında yer alan şirketler kötü tanımlanmıyor. Sadece onlardan bahsedilmiyor.
Kaldıraç, modelin ortaya çıktığında sizi nasıl çerçevelediği değil, frekans ve konumdan bahsedilir.
Yüksek ve düşük puan alanlar arasındaki fark beklediğimden daha büyük.
Bahsedilme oranında 60 ve üzeri puan alan şirketler 30 üzerinden ortalama 18,8 puan alıyor. 35 ve ortalama 3,0’ın altında puan alan şirketler.
Bu 15,8 puanlık bir deltadır.
Bu, alan adı otoritesi ya da içerik kalitesiyle değil, çeşitli alıcı istemlerindeki alıntı hacmiyle ilgilidir.
Beni en çok şaşırtan bulgu:
Make 4 platformun tamamında mevcut. Zapier Claude’da tamamen yok. Zapier hâlâ 23 puan daha yüksekte. Mevcut olmak tavsiye edilmek anlamına gelmez. Bahsetme sıklığı ve konumu, final skorunda bir platformun teknik olarak sizin varlığınızı bilmesinden çok daha fazla ağırlık taşır.
Dürüst bir uyarı: Yapay zeka yanıtları belirleyici değildir. Aynı istem, farklı çalıştırma, bazen farklı sonuç. Şirket başına kabaca 3 ila 8 puanlık bir sapma tahmin ediyoruz. Yön modellerini güvenilir olarak değerlendirin, bireysel puanları yaklaşık olarak değerlendirin.
Tam veri seti, metodoloji, kategori dökümleri ve 50 şirketin tamamı ilk yorumda sıralanmıştır. Diğerlerinin, özellikle de seçicilik farkının en belirgin göründüğü Claude’da hangi modelleri gördüğü merak konusu.