Etki alanımı CloudFlare’e işaret ettikten sonra, bu robots.txt dosyasını otomatik olarak oluşturdu:

# BEGIN Cloudflare Managed content
User-agent: Amazonbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sorun şu ki, benim özel robots.txt dosyam artık çalışmıyor.
Bu yüzden arama motorları kendi robots.txt dosyamı nasıl tarayabilirim?