Etki alanımı CloudFlare’e işaret ettikten sonra, bu robots.txt dosyasını otomatik olarak oluşturdu:
# BEGIN Cloudflare Managed content
User-agent: Amazonbot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Sorun şu ki, benim özel robots.txt dosyam artık çalışmıyor.
Bu yüzden arama motorları kendi robots.txt dosyamı nasıl tarayabilirim?
You go into cloudflare and disable the feature…