Üzerinde çalıştığım projelerden birinde, Elasticsuite modülü kategori listelerindeki filtrelerden sorumludur. Mevcut yapılandırmaya göre, Google dizinine filtre sonuçları olan yalnızca birkaç URL’ye izin verilir ve geri kalan kombinasyonlar, filtrelemenin gerçekleştiği kategori için varsayılan olarak NoindEx, Nofollow ve kanonik olarak ayarlanmış Meta Robotlar etiketi vardır.
Yukarıdaki yapılandırma göz önüne alındığında, Google Robot’un neden tekrar tekrar yapılmaması gereken sayfaları ziyaret ettiğini anlayamıyorum. Sonuç olarak, arama konsolundaki indeksleme istatistiklerine bakıldığında, NoindEx etiketi ile 3 milyona ve endeksleme bekleme durumu ile 2 milyona bölünmüş 5 milyondan fazla indekslenmemiş adresim var (ayrıca NoindEx ile).
Arama konsolunda, bu tür adreslerin sürekli olarak Google’ın robotu tarafından kontrol edildiğini görebiliyorum. Tahmin edebileceğiniz gibi, bunun web sitesinin tarama bütçesi üzerinde çok olumsuz bir etkisi var ve önemsediğim sayfalar için içerik dizine eklememi veya ferahlatmamı engelliyor.
Google robotunun ziyaret etmesini istemediğim URL sayısını nasıl azaltabileceğim hakkında herhangi bir fikri var mı?
Akla gelen ilk şey, dizin yapmak istemediğim filtre sonuçlarına sahip sayfalar için bağlantılar oluşturmak için JavaScript’i kullanmaktı.