Bu yüzden yapay zekaların içeriğim ve web sitem üzerinde eğitim almasına izin verip vermemem gerektiğini veya robots.txt dosyasında eğitim vermemem gerektiğini merak ediyordum.
Her türlü acente için genel ödeneği kullanmalı mıyım?
User-Agent: *
Allow: /
Araştırma yaptım karışık yanıtlar buldum; bazıları bilgi tabanlı siteler için acentelere ve tren botlarına izin verilmemesi gerektiğini söylüyor, bazıları için ise bunun önemi yok, ne düşünüyorsunuz?