Spider
Als Spider (Agent, Bots, Robots, Crawler) bezeichnet man ein Programm, das html-Seiten automatisch abruft. Die meisten Agents werden von Suchmaschinen
zur Aktualisierung ihres Indexes betrieben. Die meisten Spider hangeln sich durch die Links einer Webseite von Seite zu Seite.
Es gibt jedoch auch weitere Spider, z. B. Adresssammler, die die Mailadressen von html-Dokumenten sammeln, meistens um Adresssammlungen
für Werbe-E-Mails zu erhalten.
Ein weiterer Spider ist der Linkwalker, der tote Links aufspürt und dem Webmaster einen entsprechenden Hinweis per E-Mail zuschickt.
Zurück zu Glossar
