Bu yüzden yakın zamanda next-blog’u kullanarak bir blog yayınlama sitesi başlattım. Özellikle Claude/gpt/amazonbot vb. kaynaklı bir miktar bot trafiği görüyorum. İşin en tuhaf yanı, yalnızca site haritasını/robotları taramaları. robots.txt dosyam oldukça hoşgörülü. Sanki site haritasını/robotları tarayıp gidiyorlar ama aslında site haritasındaki gerçek URL’leri asla taramıyorlar. Birisi deneyimlerini paylaşabilir mi?
User-agent: *
Allow: /
Disallow: /api/next-blog
Well – the question is why would they crawl your pages?
Are those pages in links from other pages (other than your sitemap)?
Sitemaps are maps – not directions.
Pages with links are directions
Your post/comment has been removed because your account has low post karma.
Please contribute more positively on Reddit overall before posting. Cheers 😀
*I am a bot, and this action was performed automatically. Please [contact the moderators of this subreddit](/message/compose/?to=/r/SEO) if you have any questions or concerns.*
[removed]