SEO tarayıcılarını bulan başka biri robots.txt’deki blokları görmezden geliyor mu? Dotbot, Semrushbot, Ahrefsbot gibi olağan şüphelilerden hit gösteren birden fazla sitem var.
Robots.txt dosyaları, test cihazı araçlarında uygun engellemeyi gösterir https://technicalseo.com/tools/robots-txt/
örneğin
Kullanıcı ajanı: mj12bot
İzin Verme: /
Kullanıcı ajanı: Ahrefsbot
İzin Verme: /
Kullanıcı ajanı: dotbot
İzin Verme: /
Kullanıcı ajanı: Semrushbot
İzin Verme: /
Kullanıcı ajanı: Semrushbot-Ocob
İzin Verme: /
Tüm HTAccess dosyalarında bu blokları inşa etmek zorunda kalmamaktan gerçekten kaçınmak istiyorum.
Robot bloklarından geçen bu tür bot trafiğini gören var mı?
[Please don't comment what "should" happen – I'm interested in folks who have actually checked traffic logs for this stuff.]