Crawling

Crawling je proces shromažďování informací pomocí Crawlera (bota, prohledávacího robota, spidera). Procházení webu boty (crawling) má za úkol procházet miliardy stránek, ukládat je do indexu a aktualizovat již dříve uložený obsah.