Bu nedenle ekibimiz son zamanlarda bir AI kazıyıcı olan ve 2.000 sayfadan daha az bir web sitesinin tam site içeriğini kazıyabilen dahili bir araç oluşturdu.
Bu sadece bir deneydi, ancak 400 sayfa yaklaşık 400 sayfa olan ve bazıları çeşitli sütunlara sahip bir veritabanının içinde 750 sayfa olan rakibin web sitesi olan müşterimizin web sitesini aldık.
Her web sayfasının URL’si, başlığı, H1-H6 etiketleri, kelime sayısı, HTML içeriği, işaretli içerik, sosyal medya bağlantıları, kelime sayısı, karakter sayısı, dahili bağlantılar, harici bağlantılar ve daha birçok sütun.
Ancak sorun şu ki, bununla ne yapacağımızı bilmiyoruz. Birisi bu konuda bize yardım edebilir mi? CTO’mızın bir yan projesiydi, ancak gerçek bir ürüne dönüştürmemizi istiyor. Bunun için de bir ön uç ekibi kiralamaya hazır.
This product already exists and does a lot more than that. It’s called Screaming Frog.
I won’t list the products that do this – a ton. Heck, Apify does this.