Yakın zamanda Google Search Console’un gösterilmeye devam ettiği bir sorunla karşılaştım "Getirilemedi" site haritalarım için ve ana sayfam bir alıyordu "403 Yasak" Googlebot’tan gelen hata.
İşin tuhaf tarafı, kendim test ettiğimde her şeyin yolunda gitmesiydi. Sayfalar 200 döndürdü, robots.txt iyiydi ve site haritası XML’si geçerliydi.
Cloudflare’in güvenlik kayıtlarını inceledikten sonra şunu buldum: "AI eğitim tarayıcılarını engelle" kural aslında Googlebot’u engelliyordu.
sahip olmama rağmen Aramak olarak ayarlamak İzin vermek, Eğitim ayar şu şekilde ayarlandı Engellemek.
Bazı tarayıcıların hem arama indeksleme hem de yapay zeka eğitimi için kullanıldığı ortaya çıktı. Yani AI eğitim tarayıcılarını tamamen engellediğinizde Cloudflare, Googlebot’u da engelleyebilir.
Düzeltme:
Cloudflare → Güvenlik → Ayarlar → AI Tarayıcı ve Aracı erişim politikalarına gidin.
- Aramak: İzin vermek
- Eğitim: İzin verme (Blok değil)
- Bot Tercihi Senkronizasyonu: Etkinleştirilmiş
Neden Engellemek yerine İzin Vermemelisin?
Block, hem arama hem de yapay zeka eğitimi amaçlarına hizmet eden tarayıcıları durdurabilir.
Disallow, tarayıcılara robots.txt aracılığıyla içeriğinizi yapay zeka eğitimi için kullanmamalarını söyler. Bot Tercih Senkronizasyonu etkinleştirildiğinde Cloudflare, yalnızca eğitim amaçlı tarayıcıları da engeller ve her iki amaca da hizmet eden tanınmış tarayıcıların sitenizi dizine eklemeye devam etmesine izin verir.
Bu değişikliği yaptıktan sonra Google’ın Canlı URL Testi hem ana sayfam hem de site haritam için çalışmaya başladı. Site haritası raporu hâlâ güncelliğini koruyordu ancak Google sonunda dosyaları getirebildi.
Başkalarının da aynı sorunla mücadele etmesi durumunda paylaşıyorum. Site haritanızda veya uygulamanızda hata ayıklamaya saatler harcamadan önce Cloudflare ayarlarınızı kontrol edin.
