Herkese merhaba,
Üzerinde çalıştığım sitenin robots.txt dosyasında bu var:
Kullanıcı aracısı: *
İzin verme: /
Yani her şey engellendi ve Screaming Frog onu tarayamıyor.
Ayrıca Screaming Frog SEO Spider’ı robots.txt dosyasını yok sayacak şekilde ayarlamayı da denedim, ancak hala çalışmıyor.
Bir denetim için bunu halletmenin en iyi yolu nedir?
Your post/comment has been removed because your account has low post karma.
Please contribute more positively on Reddit overall before posting. Cheers 😀
*I am a bot, and this action was performed automatically. Please [contact the moderators of this subreddit](/message/compose/?to=/r/SEO) if you have any questions or concerns.*