Web mağazalarını tespit etmek ve geniş bir web sitesi listesinden anahtar kelimeleri çıkarmak için en iyi yaklaşım mı? (Özel Arama ve Özel Çıkarma)

Herkese merhaba,

Çok sayıda web sitesi listesini işlemek istediğim bir proje üzerinde çalışıyorum ve:

1.  Automatically determine whether a site is a webshop (e.g. ecommerce functionality)

2.  In a second step, check whether certain keywords or terms appear on those sites

3.  Categorize the websites based on these findings

Şu anda en iyi teknik yaklaşım konusunda emin değilim.

Bu kullanım durumu için Özel Arama mı yoksa Özel Çıkarma mı daha uygun olur?

Yoksa tamamen farklı bir iş akışı mı önerirsiniz (ör. tarama + ayrıştırma, başsız tarayıcı, üçüncü taraf araçlar vb.)?

Temel kısıtlamalar:

• Large number of URLs

• Mostly automated processing

• Focus on accuracy rather than speed

• Keywords can appear in visible text, metadata, or structured data

Herhangi bir tavsiyeyi, en iyi uygulamaları veya araç önerilerini gerçekten takdir ediyorum.

Şimdiden teşekkürler!