Herkese merhaba,
Bir haber sitesindeki indeksleme sorununu gidermeye çalışıyorum ve başka birinin benzer bir şey görüp görmediğini merak ediyorum.
Google Search Console’da, altında Sayfa indekslemeşu şekilde işaretlenmiş çok sayıda URL görüyorum:
Erişim yasak olduğundan dolayı engellendi (403)
Garip olan şu ki, örnekleri GSC’de açtığımda çoğu gösteriyor Yönlendiren sayfa olarak Facebook.
URL’ler sitemizdeki gerçek makalelerdir, ancak Google tarafından gösterilen URL’ler kesik / kesik / eksik. Bunlar tam makale URL’leri değildir. Bu nedenle, 403 döndürüyorlar veya Google onları taramaya çalıştığında başarısız oluyorlar.
Örneğin, Google’ın şöyle bir şey görmesi yerine:
example .com / news/full-article-slug-complete-url
Şöyle bir şey buluyor gibi görünüyor:
example .com / news/full-article-slug-compl
veya makale URL’sinin başka bir tamamlanmamış sürümü.
Tam URL’ler doğrudan erişildiğinde doğru şekilde çalışır ve makalelerin kendisi de mevcuttur. Sorun, Google’ın bu URL’lerin bozuk/kesilmiş sürümlerini Facebook aracılığıyla keşfetmesi gibi görünüyor.
Bazı bağlamlar:
- Burası birçok makalenin yer aldığı bir haber sitesidir.
- İçeriğimizin çoğu Facebook’ta paylaşılıyor.
- Search Console, Facebook’u bu 403 URL’nin çoğu için yönlendiren sayfa olarak gösteriyor.
- Etkilenen URL’ler genellikle makale URL’leridir ancak eksik/kesiktir.
- Bu sayfalar için Googlebot’u kasıtlı olarak engellemiyoruz.
- Sorun şurada görünüyor: 403 / erişim yasak rapor, sadece 404 değil.
- Bunun Facebook’tan, Google’ın Facebook sayfalarını taramasından, URL önizlemelerinden, yorumlardan, yönlendirmelerden, kanonik etiketlerden, Cloudflare/WAF kurallarından veya başka bir şeyden kaynaklanıp kaynaklanmadığını anlamaya çalışıyorum.
Sorularım:
- Google Search Console’un Facebook’tan keşfedilen kısaltılmış URL’leri bildirdiğini gören var mı?
- Facebook kısaltılmış/kesilmiş URL’leri Googlebot’un daha sonra taramaya çalışacağı şekilde açığa çıkarıyor olabilir mi?
- Bu, Cloudflare, WordPress, kurallı etiketler, Açık Grafik etiketleri veya eski paylaşılan URL’lerle ilgili olabilir mi?
- Bu hata ayıklamanın en iyi yolu ne olabilir: sunucu günlükleri, Facebook Paylaşım Hata Ayıklayıcı, URL Denetleme, Cloudflare günlükleri, yönlendirme kuralları?
Endişeliyim çünkü burası bir haber sitesi ve organik trafiği kurtarmaya çalışıyoruz. Bu 403’lerin yalnızca Facebook tarafından keşfedilen kötü URL’lerden kaynaklanan gürültü mü olduğunu, yoksa gerçekten tarama/dizine ekleme kalitesine zarar verip vermediğini anlamak istiyorum.
Herhangi bir tavsiye veya benzer deneyimler memnuniyetle karşılanacaktır.
**My 1st guess:** Could be links from inside a facebook private community picked up by Chrome browsers.
Unlikely to be Open Graph Tags.
Links from broken pages are unlikely to hurt you at all.
>ad Facebook-discovered URLs, or if they could actually be hurting crawl/indexing quality.
Just to help: more crawling doesnt mean more indexing or better crawling.
You dont get a crawl budget until you’re over 1m or even more, pages
Crawling is set at a page level, not sitewide.
Links from broken links dont affect you.
You can’t be held liable for what other publishers do.
Google has “optimized’ its crawling system on finding everything and triaging the web into 3 basic parts – every hour, every day and every other now and then
Its not aiming for overall operating efficiency – its aiming for every URL possible – which is why Chrome is a large source. If someone is logged into fb – links will be recorded and sent to a chrome-link-suggestion ingestion list.
That doesnt mean anything bad to you.