Hierbei handelt es sich um einen Meta-Tag im Kopfbereich (Head) des Quellcodes einer Webseite, der dazu dient, das Verhalten der Spider (siehe Spider) von Suchmaschinen zu steuern. Mögliche Einstellungen sind index, noindex, follow, nofollow. Diese geben an, ob die Seite indexiert oder nicht indexiert bzw. ob den Links auf der Seite gefolgt oder nicht gefolgt werden soll. Soll verhindert werden, dass ganze Verzeichnisse vom Spider untersucht werden, ist der Einsatz der Robots.txt-Datei notwendig.