Büyük bir WordPress sitesinde (20.000’den fazla sayfa) tarama bütçesi sorunuyla karşılaşıyorum. Binlerce yayın URL’si, bunları engellemek ve işlemek için zaten birçok adım atmış olmama rağmen Google tarafından tekrar tekrar taranıyor.
Hemen hemen her blogun ve açılış sayfasının ilişkili bir özelliği vardır. /feed/ URL ve Google her 2-3 günde bir ~15.000’den fazla tanesini tarıyor. Hatta bu yayın URL’lerinden bazıları dizine ekleniyor ve ben bunu tamamen ortadan kaldırmak istiyorum.
Şu ana kadar uyguladıklarım şunlar:
- WordPress ayarları/eklentileri aracılığıyla engellenen yayınlar
- Kurallar eklendi
robots.txt:İzin verme: /feed İzin verme: */feed/ İzin verme: /?* - Koşullu işleme uygulandı:
- Normal kullanıcılar için → feed URL’leri standart (feed olmayan) sürüme 301 yönlendirilir
- Botlar için → yayın URL’leri 410 değerini döndürür (Gitti)
Tüm bunlara rağmen Google, büyük miktarda yayın URL’sini tutarlı bir şekilde taramaya devam ediyor ve bu da önemli sayfalar için tarama verimliliğimi olumsuz etkiliyor.
Hangi konuda yardıma ihtiyacım var:
- Nasıl yapabilirim tamamen dur Google’ın bu yayın URL’lerini taraması mı gerekiyor?
- Botlar için 410 + kullanıcılar için yönlendirmeden daha iyi bir yaklaşım var mı?
- Tarama bütçesini yönlü/özet akışı URL’lerinden geniş ölçekte geri almaya yönelik kanıtlanmış stratejiler var mı?
>Almost every blog and landing page has an associated `/feed/` URL,
Are you using the Yoast SEO Plugin?
>I’m facing a crawl budget issue on a large WordPress site (20K+ pages).
No you’re not – you need over a million pages to hit a crawl budget
> Some of these feed URLs are even getting indexed, which is something I want to completely eliminate.
Nothing is linking to them – Googlebot will ignore them
>Despite all this, Google continues to crawl a large volume of feed URLs consistently, which is negatively impacting my crawl efficiency for important pages.
No its not. Your pages will be cralwed in triage – those with the highest clicks more often and get indexed more often if they’re updated
more crawling != high ranking or higher indexing
>How can I *fully stop* Google from crawling these feed URLs?
Kill the component that publishes them or create a rule that 301s them and you’ll be fine