Sabahımı sitemin ChatGPT, Perplexity veya AI Genel Bakış gibi AI arama araçlarında neden görünmediğini araştırarak geçirdim. Benim açımdan her şey yolunda görünüyordu. Next.js’deki robots.txt dosyam her AI tarayıcısına açıkça izin verdi.

Daha sonra /robots.txt dosyasında curl çalıştırdım ve kesinlikle yazmadığım şu bloğu gördüm:

# BEGIN Cloudflare Managed content
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /
...

Cloudflare’de bir geçiş özelliği olduğu ortaya çıktı "AI Kazıyıcılar ve Tarayıcılar" Bu, etkinleştirildiğinde robots.txt dosyanızın başına kendi kurallarını ekleyerek uygulamanızın sunduğu her şeyi etkili bir şekilde geçersiz kılar. GEO yapan, yani ChatGPT, Perplexity veya AI Genel Bakış tarafından alıntılanmaya çalışan herkes için bu durum sizi sessizce engelleyebilir.

10 saniyede nasıl kontrol edilir:
kıvırmak https://siteniz.com/robots.txt | grep "Cloudflare Yönetilen"

Bunu görüyorsanız ve AI tarayıcılarının sitenizi dizine eklemesini istiyorsanız Cloudflare kontrol paneli → Güvenlik → Botlar → devre dışı bırak seçeneğine gidin. "AI Kazıyıcılar ve Tarayıcılar."

Veya API aracılığıyla ayarlayın is_robots_txt_managed: false bölgenin üzerinde bot_management uç nokta.

Yapay zeka sonuçlarında görünmek istemiyorsanız bu özelliği açık bırakın. Bu aslında bunu düşünmeyen siteler için yararlı bir varsayılandır. Sadece var olduğunun farkında olun.