Herkese merhaba, saçımı yoluyorum Google Arama Konsolu (GSC) Bu bir hata gibi görünen bir sorun, ama belki de çok önemli bir şeyi kaçırıyorum.

Sorun:

GSC sürekli olarak şunu bildiriyor: benimkini getiremiyorum robots.txt dosya. Sonuç olarak sayfalar dizinin dışında kalıyor. Bu sitem için büyük bir sorun.

Kanıt (Neden Kafam karıştı):

  1. Dosyaya açıkça erişilebilir bir tarayıcıda ve diğer araçlar aracılığıyla. Kendiniz kontrol edebilirsiniz: https://atlanta.ee/robots.txt. Anında yüklenir ve bir 200 OK durum.

Ne Denedim:

  • URL inceleniyor: kullanarak URL Denetleme Aracı için GSC’de robots.txt URL’nin kendisi de aynı şeyi gösteriyor "Hatayı Getir."

Topluluğa Sorularım:

  1. Herkese açık bir şekilde erişilebilen bu özel sorunu yaşayan var mı? robots.txt GSC tarafından getirilemez olarak rapor ediliyor mu?
  2. Bu bilinen bir şey mi GSC hatasıyoksa ince bir şey mi var sunucu yapılandırması incelemem gereken bir sorun (belirli bir Googlebot Kullanıcı Aracısının engellenmesi veya garip bir başlık yanıtı gibi) var mı?
  3. Hiç var mı daha az belirgin araçlar veya sunucu tarafında kontrol etmem gereken ayarlar (örneğin, Googlebot için belirli hız sınırlaması)?

Bunun nasıl hata ayıklanacağına dair herhangi bir fikir büyük ölçüde takdir edilecektir! Bu sayfaların yeniden indekslenmesini sabırsızlıkla bekliyorum. Teşekkürler!