Ähnlich wie die robots.txt Datei, geben auch Meta Robots Anleitungen für Suchmaschinencrawler. Hier geht es jedoch um die Indexierung bestimmter Seiten. Der Robots-Meta-Tag wird in den Header des HTML einer bestimmten Seite eingefügt und weist den Suchmaschinenbot dann an, die Inhalte von der Indexierung auszuschließen und folglich nicht in den Suchergebnissen anzuzeigen. Ist kein Robots-Meta-Tag im HTML vorhanden, so geht der Bot in der Regel davon aus, dass die Seite indexiert werden kann. Ein Robots-Meta-Tag, der allen Crawlern das Indexieren von den Seiteninhalten verbietet, sieht wie folgt aus:
<!DOCTYPE html>
<html><head>
<meta name=“robots“ content=“noindex“ />
(…)
</head>
<body>(…)</body>
</html>
Zudem kann den Crawlern über Robots-Meta-Tags auch mitgeteilt werden, dass sie den Links auf der vorliegenden Seite nicht folgen dürfen. Eine entsprechende Auszeichnung im Quellcode der Seite, die den Crawlern sagt, dass die Seite weder indexiert werden darf, noch den Links auf der Seite gefolgt werden soll, sieht wie folgt aus:
<!DOCTYPE html>
<html><head>
<meta name=“robots“ content=“noindex, nofollow“ />
(…)
</head>
<body>(…)</body>
</html>
Mehr dazu hier!
Kontakt
Mehr Feuer für Dein Online Marketing?
Willst Du wissen, wie Du Growth Marketing in Deinem Unternehmen einsetzten kannst? Dann sollten wir unbedingt miteinander reden. Mit unserem Know-how und unserer Erfahrung können wir Dir ganz bestimmt helfen.