Crawling beschreibt im Bereich SEO die Erfassung von Daten aus dem Quelltext einer Webseite. Bei diesem Prozess erfasst ein Suchmaschinen-Crawler (Googlebot) die bestehenden Daten einer Webseite (Titel, Keywords, Bilder etc.) und sammelt gleichzeitig aktualisierte Inhalte im Web. Da diese Suche automatisch abläuft, werden die Crawler auch Robots genannt. 

Die Crawler besuchen Internetseiten in der Regel über Hyperlinks, die auf bereits indexierten Webseiten integriert sind. Grundlage der Indexierung ist der Algorithmus der jeweiligen Suchmaschine.

Zusammengefasst ist Crawling die Grundlage für die Indexierung und für das Ranking der Inhalte im Web. 

Wenn Du mehr über das Thema Crawling erfahren möchtest, lies Dir hier unseren Blogartikel durch.

Mehr dazu erfährst Du auch bei Google selbst und in unserem Blog.