crawler.php
Als Crawler (Spider, Agent, Bot, Robots) bezeichnet man ein Programm, das html-Seiten automatisch abruft. Die meisten Crawler werden von Suchmaschinen
zur Aktualisierung ihres Indexes betrieben. Die meisten Crawler hangeln sich durch die Links einer Webseite von Seite zu Seite.
Es gibt jedoch auch weitere crawler, z. B. Adresssammler, die die Mailadressen von html-Dokumenten sammeln, meistens um Adresssammlungen
für Werbe-E-Mails zu erhalten.
Ein weiterer Crawler ist der Linkwalker, der tote Links aufspürt und dem Webmaster einen entsprechenden Hinweis per E-Mail zuschickt.
Zurück zum Glossar
