Merhaba, Google Search Console’u kullanma ve web sitemin arama motorlarında görünmesini sağlama konusunda oldukça yeniyim. URL Denetleme aracında aşağıdakiler dahil çeşitli URL’leri denedim: https://example.org/, https://example.org/robots.txt ancak Canlı testte (dizine eklenmemiş sürümde) bile hepsi için Google şunu söylüyor:
Taramaya izin veriliyor mu? Hayır: robots.txt tarafından engellendi
Sayfa getirme başarısız oldu: robots.txt tarafından engellendi
Web sitesi günlüklerinde /robots.txt dosyasına yönelik bir istek görüyorum 34.83.190.242 bu bir Google IP’sidir. Ama sahip olmayı denedim "Kullanıcı Aracısı: *\nİzin Verme:" birlikte "…\nİzin ver: *" ve hatta robots.txt dosyasının 404 olması için tamamen kaldırılması, ancak Google yine de robots.txt dosyasının onu engellediğini iddia ederek taramayı reddediyor. Bu robots.txt doğrulayıcılardan biri (tarafından önerildiği gibi) bu Google destek makalesi) beklendiği gibi taramaya izin verildiğini söylüyor. Görünüşe göre Google robots.txt dosyasını önbelleğe almış ve canlı bir test yapıyor olmama rağmen onu güncellemek istemiyor. Diğer URL’ler için hiçbir istek gelmiyor.
Etki alanımı GSC’ye çok yakın zamanda kaydettirdiğim ve henüz yeterince beklemediğim için mi? Tüm verilere ulaşılamıyor ve bir veya iki gün sonra tekrar gelip görmem gerektiği söyleniyor
Not: WordPress veya buna benzer bir şey kullanmıyorum. Web sitesinin tamamı yalnızca WSGI’den oluşuyor ve robots.txt dosyası doğrudan nginx tarafından sunuluyor.