Bot

Als Bot (Spider, Agent, Crawler, Robots) bezeichnet man ein Programm, das html-Seiten automatisch abruft. Die meisten Bots werden von Suchmaschinen zur Aktualisierung ihres Indexes betrieben. Die meisten Agents hangeln sich durch die Links einer Webseite von Seite zu Seite.
Es gibt jedoch auch weitere Bot, z. B. Adresssammler, die die Mailadressen von html-Dokumenten sammeln, meistens um Adresssammlungen für Werbe-E-Mails zu erhalten.

Ein weiterer Agent ist der Linkwalker, der tote Links aufspürt und dem Webmaster einen entsprechenden Hinweis per E-Mail zuschickt.

Zurück zum Glossar