Herkese merhaba,
Küçük işletmelere ve yerel franchise’lara hizmet veren bir ajansta tek SEO’yum. Son zamanlarda ChatGPT ile yaptıkları kendi “SEO denetimlerini” gönderen birden fazla müşteriyle çalışıyorum.
Temel olarak tüm bu “denetimler” taranabilirlikle ilgili uzun, kelime salatası bölümleri içeriyordu. Müşterilerimin çoğu yapay zekanın görünürlüğüne odaklanmış durumda ve yüksek lisans derecelerinde adından söz edilmek istiyor. Bu müşterilerin çoğu aslında orada iyi durumda ve müşteriler onları bu şekilde bulduklarını bildiriyor. Ancak AI slop raporları bana robots.txt’deki (örneğin OAI-SearchBot) her farklı AI tarayıcısına ayrı ayrı izin vermem gerektiğini söylüyor.
Sorun şu ki, sitelerinde tüm tarayıcılara izin veriliyor ve her zaman da öyle. İzin verilmeyenler yok ve açıkça LLM’lerde bulunuyorlar, indekslenmeleri iyi görünüyor, sahip oldukları tek nofollow’lar veya indekslenmemiş sayfalar kasıtlıdır.
Site tüm tarayıcılara izin veriyorsa bu AI tarayıcılarını robots.txt dosyasına özel olarak eklemenin herhangi bir faydası var mı? Bunun gereksiz olduğunu ve sadece iş bombası yarattığını düşünüyorum, ancak sadece ben olduğum için tavsiye isteyecek başka kimsem yok. İnsanların ne dediğini merak ediyorum. Teşekkürler!