Significato e definizione di robots.txt

Un robots.txt è un file dedicato a spider, bot e grabber — in genere dei motori di ricerca — che contiene direttive per gestire il loro passaggio sul sito.