Deepbot

Es gibt zwei verschiedene Arten von Bots. Den Freshbot und den Deepbot. Im Gegensatz zum Freshbot, der ausschließlich aktuelle und neue Inhalte crawlt, ist der Deepbot für die Aktualisierungen von bereits indexierten Seiten zuständig.