Crawler sind spezielle Suchmaschinen, die selbständig das Internet auf neue Informationsangebote durchforsten. Dabei kommen meist sogenannte Agenten zum Einsatz, die mit vorgegebenen Schlüsselwörtern alle Seiten registrieren, in denen die gewünschten Begriffe enthalten sind.
Suchmaschinen setzen oft noch fehlerhafte Crawler ein, die HTTP-Protokolle nicht richtig beherrschen oder die URLs nicht korrekt bearbeiten können, wenn relative statt absolute Pfad- und Dateinamen in einer Präsenz eingesetzt werden. Hierdurch läßt sich auch die Qualität der Suchergebnisse von dem Suchdienst beurteilen.
Crawler geraten schonmal in Endlos-Schleifen mit dem Ergebnis, dass die Indexierung dort komplett abgebrochen wird.
Siehe auch Fireball, Dino, Lycos, indexer, Aladin, Excite, MetaGer, Drott, Yahoo
|
