Siteyi dağıttıktan sonra robotlarımı şöyle buldum:
UserAgent: *
Disallow: /
Ve site haritasını Google’a gönderdi. Hala şimdi sit haritam alınmadı ve bir ay oldu. Hatamı bulduktan yaklaşık 10 gün sonra düzeltmiştim.
Bu hata hakkında konuşan bir forum vardı, eğer o robotları tam olarak yukarıdaki gibi alırsanız, artık sizi taramak için uğraşmayacak ve bu bir bekleme oyunu.
Bu konuda bilgisi olan var mı?