Significato e definizione di Crawler

Un crawler, conosciuto anche come spider o robot, è un particolare tipo di bot utilizzato dai motori di ricerca per analizzare ed indicizzare i contenuti pubblicati in rete.

Il crawler è un software automatizzato che principalmente scarica il contenuto delle pagine web e si autoalimenta individuando, da ogni pagina, un elenco di ulteriori URL da analizzare.