Site bir süre önce bir spam enjeksiyonuna maruz kaldı, eskiden alan adında bulunan eski bir PHP kurulumundan kalanlar (şimdi Vercel’de React). Google, her zamanki gibi /350859926.htm ve /shop/tipsier/fenerate85385187894.html gibi yaklaşık 8,4 bin önemsiz URL yakaladı.

Ekim ayının sonunda tüm bu kalıpları 410 Gone’a dönecek şekilde ayarladım. Bu gerçek bir 410 başlığı, soft 404 değil. Normal eksik sayfalar yine de 404 döndürüyor. robots.txt bunların hiçbirini engellemiyor, site haritası temiz, manuel işlem yok.

İki hafta sonra, Sayfa indekslemede “Bulunamadı (404)” hâlâ 8.446’da duruyor. Temel olarak hareket etmedi.

Böylece 1000 URL örneğini dışa aktardım ve Son taranan sütunu kontrol ettim:

Haziran 830
Temmuz 159
Ağustos 10
Eylül 1
Ekim/Kasım 0

Ardından Tarama istatistikleri: 90 gün boyunca yaklaşık 3,7 bin istek, tüm site için günde yaklaşık 40 istek. Dolayısıyla Google, 410’un ortaya çıkmasından bu yana bu URL’lere geri dönmedi, bu yüzden onları bırakmadı. Bu oranda 8,4 bin ölü URL üzerinde çalışmak 1-2 yıllık bir iştir.

Bulabildiğim tek araç, yalnızca ölü URL’leri içeren geçici bir site haritasıdır. Gönderin, Googlebot’un onları taramasına izin verin, sonra silin. robots.txt’den, ana site haritamdan. “Gönderilen URL bulunamadı (404)” hataları vereceğini biliyorum; Bunlar umurumda değil. Bunu bu ölçekte yapan var mı, işe yaradı mı veya ne kadar sürdü? (Ya da kaçırdığım daha iyi bir şey varsa söyle)

Dizine alınmış 75’tir ve bu doğru; Spamların hiçbiri dizinde yok. Bu yüzden çoğunlukla kozmetik olduğunu biliyorum. Onu orada otururken görmekten nefret ediyorum.