Birçok kişi hala tedavi görüyor "Yapay zeka araması" Mesela bir marka ChatGPT’de görünüyorsa her yerde görünecektir. Bunu test etmek istedim, bu yüzden 16 SaaS markası genelinde ChatGPT, Claude, Gemini ve Perplexity API’lerini istatistiksel kontrollerle çalıştıracak bir araç yazdım. İşte ortaya çıkan şey.
Başlık numarası
İkili sağlayıcı karşılaştırmalarının %53’ü istatistiksel olarak anlamlı farklılıklar gösterdi. Yapay zeka marka görünürlüğü gerçekten parçalanmış durumda. Bu motorlar, kullanıcılara tamamen aynı istemler için tamamen farklı yanıtlar verir.
Veriler
Varlık oranı = markadan bahseden yanıtların yüzdesi. Her hücre = 240 yanıt.
Kategori liderleri çoğunlukla her yerde görünür:
| Marka | SohbetGPT | Claude | İkizler burcu | Şaşkınlık | Açıklık |
|---|---|---|---|---|---|
| HubSpot’u | %86 | %93 | %97 | %99 | 13 s. |
| Asana | %88 | %89 | %95 | %91 | 7 s. |
| Posta şempanzesi | %91 | %70 | %63 | %81 | 28s. |
| Canva | %65 | %57 | %71 | %85 | 28s. |
Ancak orta pazardaki ve rakip markalara, sorduğunuz yapay zekaya bağlı olarak son derece farklı muameleler yapılıyor:
| Marka | SohbetGPT | Claude | İkizler burcu | Şaşkınlık | Açıklık |
|---|---|---|---|---|---|
| Adobe CC | %39 | %14 | %44 | %2 | 42pp |
| Dönüştürme Kiti | %54 | %18 | %16 | %12 | 42pp |
| Klaviyo | %32 | %65 | %62 | %67 | 35 kişi |
| Tıklama | %85 | %59 | %85 | %78 | 26s. |
| Eskiz | %47 | %40 | %36 | %27 | 21s. |
İstem amacı parçalanmayı yönlendirir
Tüm sorgular eşit parçalanma yaratmaz. Anahtarlama amacı istemleri ("X’ten uzaklaşmak istiyorum, ne kullanmalıyım?") başlangıç seviyesindeki istemlerde yalnızca %6’ya kıyasla %56’lık sağlayıcı yayılımıyla en yüksek ortalama parçalanmayı üretti.
Yüksek niyetli, dönüşüm hunisinin alt kısmındaki sorgular, bu sağlayıcıların en çok anlaşamadığı noktalardır.
Bundan ne çıkardım
- Şaşkınlık büyük bir canlı arama önyargısına sahiptir. En yüksek varlık oranlarını yakın zamanda web’de güçlü bir varlığa sahip olan markalara verdi (HubSpot %99, Canva %85), ancak Adobe CC’yi neredeyse tamamen göz ardı etti (%2). Eğitim ağırlıklarına güvenmek yerine canlı ağı kazımak, bu da farklılığı açıklıyor.
- Claude en muhafazakar olanıdır. Tüm markalar arasında en düşük ortalama varlık oranı (ChatGPT/Gemini için %63’e karşı %70-71). Yanıt başına daha az sayıda araç listelenir.
- Ortalama "Yapay zeka görünürlüğü" puanlar yanıltıcıdır. ConvertKit yalnızca ChatGPT’yi (%54) kontrol ediyorsa, sorun olmadığını düşünüyorsunuz. Ancak Claude (%18), Gemini (%16) ve Perplexity’de (%12) neredeyse görünmezsiniz.
Metodoloji
Sektör başına 12 bilgi istemi türü. Sağlayıcı başına istem başına 20 örnek, sabit örnekleme. %95 Wilson Puanı güven aralıkları. İkili karşılaştırmalarda Cohen’in h etki büyüklükleriyle Newcombe aralıkları kullanılır. Yalnızca CI’nın sıfırı hariç tutması ve etki boyutunun 0,2’yi aşması durumunda bir fark işaretlendi.
GEO çalışması yapan herhangi birinin kendi nişlerinde aynı tür sağlayıcı düzeyinde parçalanma görüp görmediğini merak mı ediyorsunuz? Kendi analizini yapmak isteyen varsa ham CSV’leri paylaşmaktan mutluluk duyarım.
Hey, Matt from Ranketta here. I felt compelled to react, since you are measuring visibility by sending a prompt to an API of an LLM.
The method you chose (prompting the API) is not reliable (for many reasons).
Data should come from the UI of each measured LLM, because UI contains additional logic layers (personalization, localization, ..). Also, API rarely triggers web search, which means no QFO, no product carousels to scrape, etc.
Scraping UI allows measuring more assets and do it more accurately.
I can expand, but I am wary of being too salesy here.