Müşterimin markasının ChatGPT/Perplexity tarafından ne sıklıkta alıntılandığını izlemeye yönelik araçları test ediyorum. Popüler olanlardan 3 tanesini denedim ve sayılar atlamaya devam etti. Bir hafta bahsedilme oranında %60, sonraki hafta %35, sonra tekrar %50’ye çıkacağız. Hiçbir şeyi değiştirmemiştik.
İlk başta aletlerin bozuk olduğunu düşündüm. Daha sonra ChatGPT’de aynı istemi manuel olarak art arda 10 kez çalıştırdım.
Neredeyse her seferinde farklı bir cevap aldım. Farklı siparişlerde farklı markalar görünüyor. Bazen müşterimden hiç bahsedilmiyordu, bazen de en çok tavsiye edilenler onlardı. Aynı talep, aynı model, aynı gün.
Yani sorun araçlar değil. Yüksek Lisans’ların belirleyici olmaması ve çoğu aracın istemi yalnızca bir kez çalıştırıp bunu veri olarak rapor etmesidir. Bu temelde yazı tura atmaktır.
Matematiği merakımdan yaptım. “%40” oranının 10 çalışmada 4 kez bahsedilmesinden geldiğini belirtirseniz, bunun gerçek güven aralığı %12 ila %74 gibi bir şeydir. Yani insanlara örneklem büyüklüğünüzü söylemeden %40 olduğunuzu söylemek anlamsızdır.
Çoğu araç, örnek boyutunu veya güven aralıklarını göstermez çünkü her istemi 10’dan fazla kez çalıştırmak onlara API ücretlerinde 10 kat daha fazla maliyet getirir. Ekonomi onları tek seferlik anlık görüntülere itiyor.
Alt soru: Bunu gerçekten düzgün bir şekilde yapan bir araç bulan var mı? Yoksa herkes sadece gürültülü sayıları mı kullanıyor ve gerçekmiş gibi mi davranıyor? Çünkü şu anda müşterilere yapay zeka görünürlüğünü güvenilir bir şekilde ölçemediğimi ve bunun satılmasının zor olduğunu söylüyorum.
Denetim başına 4 saat sürmeyen bir iş akışına sahip olan varsa, manuel iş akışlarına da açık olun.