Üzerinde çalıştığım projelerden birinde, Elasticsuite modülü kategori listelerindeki filtrelerden sorumludur. Mevcut yapılandırmaya göre, Google dizinine filtre sonuçları olan yalnızca birkaç URL’ye izin verilir ve geri kalan kombinasyonlar, filtrelemenin gerçekleştiği kategori için varsayılan olarak NoindEx, Nofollow ve kanonik olarak ayarlanmış Meta Robotlar etiketi vardır.
Yukarıdaki yapılandırma göz önüne alındığında, Google Robot’un neden tekrar tekrar yapılmaması gereken sayfaları ziyaret ettiğini anlayamıyorum. Sonuç olarak, arama konsolundaki indeksleme istatistiklerine bakıldığında, NoindEx etiketi ile 3 milyona ve endeksleme bekleme durumu ile 2 milyona bölünmüş 5 milyondan fazla indekslenmemiş adresim var (ayrıca NoindEx ile).
Durumu göstermek için, bir örnek adresin yapılandırmasını markalara göre filtreleme seçeneğiyle vereceğim: Belki, Crong, Burga ve Eizo kategorisinde: Aksesuarlar https://example.com/accesories/manufacter:belkin,crong,burga,eizo\_2.html
Yukarıdaki adresin ayarları aşağıdaki gibidir:
Kanonik: https://example.com/accesories.html
Robotlar: Noindex, Nofollow
Tarayıcıdaki URL, durumu döndürür: 200.
Arama konsolunda, bu tür adreslerin Google’ın robotu tarafından sürekli olarak kontrol edildiğini görebiliyorum. Tahmin edebileceğiniz gibi, bunun web sitesinin tarama bütçesi üzerinde çok olumsuz bir etkisi var ve önemsediğim sayfaların içeriğini endekslememi veya yenilememi engelliyor.
Googlebot’un ziyaret etmesini istemediğim URL sayısını nasıl azaltabileceğim hakkında herhangi bir fikri olan var mı?
Akla gelen ilk şey, dizin yapmak istemediğim filtre sonuçlarına sahip sayfalar için bağlantılar oluşturmak için JavaScript’i kullanmaktı.
Son olarak, işte bağlantılar
Elasticsuite dokümantasyonuna bağlantı: https://elastic-suite.github.io/documentation/
Demo sürümüne bağlantı: https://demo.magento-elastic-suite.io/index.php/venia-dresses?fashion_material=viscose
GitHub kütüphanesine bağlantı: https://github.com/smile-sa/elasticsuite