Meta-Robots-Tag

Hierbei handelt es sich um einen Meta-Tag im Kopfbereich (Head) des Quellcodes einer Webseite. Er dient dazu, das Verhalten der Spider von Suchmaschinen zu steuern. Mögliche Einstellungen sind index, noindex, follow, nofollow. Diese geben an, ob die Seite indexiert oder nicht indexiert bzw. ob den Links auf der Seite gefolgt oder nicht gefolgt werden soll. Soll verhindert werden, dass ganze Verzeichnisse vom Spider untersucht werden, ist der Einsatz der Robots.txt-Datei notwendig.