robots.txt

Robots.txt je textový soubor přístupný v kořenovém adresáři webu, který říká botům (crawlerům), které oblasti webu by měly být ignorovány, na jakém odkazu se nachází sitemapa apod. Jedná se o protokol pro zakázání přístupu robotům.