Crawler

Unter einem Crawler versteht man ein Programm, das selbstständig das Internet nach Inhalten durchsucht. Dabei liest der Crawler Webseiten und Inhalte vollständig aus und indexiert diese. Vereinfacht gesagt, scannt der Crawler die Webseiten. Die Suche läuft vollautomatisch ab, deswegen werden die Crawler auch Robots genannt. Neben Robot werden sie auch noch als Spider bezeichnet, denn der Weg, den die Crawler im Internet zurücklegen, ähnelt einem Spinnennetz. 

Suchmaschinen nutzen Crawler, um die zuvor gesammelten Inhalte zu bewerten und anschließend einen Index aufzubauen. Suchergebnisse entstehen auf Basis dieser Bewertungen.

Wie funktionieren Crawler?

Ein Crawler sucht Webseiten meist über Hyperlinks auf. Diese Hyperlinks sind auf bereits indexierten Webseiten integriert. Anschließend liest der Crawler den Inhalt dieser Webseite aus und speichert ihn, wertet ihn aus und indexiert ihn gegebenenfalls. Grundlage für die Indexierung ist der Algorithmus der benutzten Suchmaschine. In den Suchergebnissen der Suchmaschine werden dann die indexierten Daten angezeigt. 

Crawler sind die Grundbausteine einer jeden Suchmaschine, um Inhalte im Internet auffinden und indexieren zu können. Webseiten müssen demnach für Crawler einwandfrei lesbar sein, damit alle Inhalte indexiert werden können.