Indexierung beschreibt das Hinzufügen von neuen Seiten in das Google Verzeichnis, damit sie Usern bei ihrer Suche zu einem bestimmten Suchbegriff angezeigt werden können.

Um eine Seite in der Google Datenbank überhaupt finden zu können, ist die Crawlbarkeit dieser Seite eine Voraussetzung. Da der Suchmaschinen Bot neue Inhalte durch Links entdeckt, muss diese Seite also mindestens einmal auf einer anderen Seite verlinkt sein. Wurde eine Seite vom Crawler gefunden, wird sie in die Google Datenbank aufgenommen. Wurde die Seite dann in den Index aufgenommen, wird sie im Ranking in den SERPs eingeordnet. 

Der Google Bot versucht so vielen Links wie möglich zu folgen. Jedoch ist die Zeit, die Google für eine Webseite investiert, begrenzt. Das sogenannte Crawl Budget variiert von Seite zu Seite und wird unter anderem durch ihre Größe, die Anzahl an Backlinks und ihre Fehlerhaftigkeit bestimmt. Dieses Crawl Budget bestimmt ebenfalls, wie häufig die wichtigsten URLs einer Seite gecrawlt werden und wie oft ein tiefergehender Crawl von Google erfolgt. 

Das begrenzte Crawl Budget wird vor allem für größere Seite mit einer hohen Anzahl an Unterseiten zum Problem, denn oft reicht Googles festgelegtes Crawl Budget nicht aus, um alle Unterseiten zu scannen. Folglich können diese Unterseiten auch nicht indexiert werden und wichtiger Traffic entgeht. Für die Suchmaschinenoptimierung größerer Webseiten gibt es somit Folgendes zu beachten: 

• eine möglichst flache Seitenstruktur (kurze Wege zu den Unterseiten) 
• sehr gute interne Verlinkung der wichtigsten Seiten 
• interne Links von Seiten mit vielen Backlinks zu Seiten, die öfter gecrawlt werden sollen 
• Verwenden von robots.txt, um weniger wichtige Seiten vom Crawling auszuschließen (z.B. “Thank You”- Seiten, Kontaktformulare usw.) 
• Verwenden einer XML-Sitemap mit einer Liste der wichtigsten URLs. 

Noch mehr über Crawling und Indexierung erfährst Du hier!