Bir dizi kullanıcı aracısının web siteme erişmesini engelledim, böylece insanlar web sitemi ziyaret ederken arka planda rastgele içerik kazıması olmuyor.

Şu anda engellenmiş olan aşağıdaki dizelerden herhangi birini içeren aşağıdaki kullanıcı aracılarına sahibim:

balihoo

botrighthere

webzip

larbin

b2w/0.1

copernic

psbot

python-urllib

netmechanic

url_spider_pro

cherrypicker

emailcollector

emailsiphon

webbandit

emailwolf

extractorpro

copyrightcheck

crescent

sitesnagger

prowebwalker

cheesebot

lnspiderguy

alexibot

teleport

teleportpro

miixpc

telesoft

website quester

webzip/4.0

webstripper

websauger

webcopier

netants

mister pix

webauto

thenomad

www-collector-e

rma

libweb/clshttp

asterias

httplib

turingos

spanner

infonavirobot

harvest/1.5

bullseye/1.0

mozilla/4.0 (compatible; bullseye; windows 95)

crescent internet toolpak http ole control v.1.0

cherrypickerse/1.0

cherrypickerelite/1.0

webbandit/3.50

nicerspro

microsoft url control - 5.01.4511

dittospyder

foobot

spankbot

botalot

lwp-trivial/1.34

lwp-trivial

bunnyslippers

microsoft url control - 6.00.8169

urly warning

wget/1.6

wget/1.5.3

wget

linkwalker

cosmos

moget

hloader

humanlinks

linkextractorpro

offline explorer

mata hari

lexibot

web image collector

the intraformant

true_robot/1.0

true_robot

blowfish/1.0

jennybot

miixpc/4.2

builtbottough

propowerbot/2.14

backdoorbot/1.0

tocrawl/urldispatcher

webenhancer

suzuran

tighttwatbot

vci webviewer vci webviewer win32

vci

szukacz/1.4

queryn metasearch

openfind data gatherer

openfind

xenu's link sleuth 1.1c

xenu's

zeus

repomonkey bait & tackle/v1.01

repomonkey

microsoft url control

openbot

url control

zeus link scout

zeus 32297 webster pro v2.9 win32

webster pro

erocrawler

linkscan/8.1a unix

keyword density/0.9

kenjin spider

iron33/1.0.2

bookmark search tool

getright/4.2

fairad client

gaisbot

aqua_products

radiation retriever 1.1

flaming attackbot

oracle ultra search

msiecrawler

perman

searchpreview

turnitinbot

webzip/4.21

webzip/5.0

httrack 3.0

turnitinbot/1.5

webcopier v3.2a

webcapture 2.0

webcopier v.2.2

spinn3r

tailrank

moget/2.1

ai2bot

ai2bot-dolma

aihitbot

amazonbot

anthropic-ai

applebot-extended

bytespider

ccbot

claudebot

cohere-ai

cohere-training-data-crawler

duckassistbot

facebookbot

google-extended

googleother

googleother-image

googleother-video

gptbot

img2dataset

meta-externalagent

mycentralaiscraperbot

omgili

omgilibot

quora-bot

tiktokspider

youbot

adsbot-google

adsbot-google-mobile

adsbot-google-mobile-apps

Google arama konsolunu kontrol ettim ve bazı sorgular için web sitemin bazı bölümlerinin 1. sırada yer aldığını iddia ediyor ancak sitemin arama motoru AI sonuçlarında sıralanmasını istiyorum (google’ın gösterdiği gibi) "düşünme" daha sonra bir grup cümleye dönüşür, web sitemin de orada listelenmesini istiyorum).

Zaten bir llms.txt dosya kurulumum var.

Yukarıda engellediğim kullanıcı aracılarından herhangi birinin uygun kitlelere ulaşmamı engelleyip engellemediğini merak ediyordum. Eğer öyleyse, lütfen bana hangileri olduğunu bildirin. Teşekkürler.