AWS Amplify W/ Cloudflare alan adında barındırılan 1. web sitemi oluşturdum. Cloudflare Robots TXT dosyası önerdi ve hangisini engelleyeceğimi bilmediğim çok fazla bot var. SEO ve Google sayfam için Google, Microsoft’a izin vermem gerektiğini biliyorum, ancak engellemek için robots.txt dosyama hangileri ekliyorum (AI eğitimi için, izinsiz içerik kullanıyor ve yanlış web ziyareti analitiği veriyor)?
Yardımlarınız için teşekkürler! 🙂