Der Googlebot ist der Webcrawler von Google. Er sammelt und indexiert Dokumente aus dem Internet mit Hilfe eines automatisierten Verfahrens. Die Dokumente werden für die Google-Suche zusammengestellt, womit der Googlebot die Voraussetzungen dafür schafft, dass Google Suchanfragen beantworten kann. Denn nur wenn der Googlebot Seiten indexiert, tauchen diese in den Suchergebnissen auf. 

Die Crawler-Technologie von Google ist ein Algorithmus , der von selbst arbeitet. Wenn dem Googlebot durch bestimmte Parameter der Zugang gewährt wird, lädt dieser eine Website herunter und speichert diese im Index von Google. Aus diesem Index stammen wiederum die Informationen, die Google den Usern zur Verfügung stellt. Voraussetzung für das Crawlen muss sein, dass die Website unter einer URL erreichbar ist, denn der Crawler bewegt sich entlang von Hyperlinks. Auf diese Weise crawlt der Googlebot das WWW.

Wie Crawling und Indexierung genau funktioniert, kannst Du hier nachlesen.

Google selbst unterscheidet außerdem zwischen einem Computer-Crawler und einem Googlebot mobile. In der Regel werden Webseiten von beiden gecrawlt. Außerdem gibt es eine weitere Unterscheidung der Googlebots hinsichtlich der Anwendungen, die sie crawlen. So kann zwischen einem Googlebot Image, einem Googlebot News und einem Googlebot Videos unterschieden werden.

Mehr erfährst Du hier!