Die Robots.txt Datei ist eine Textdatei, die Suchmaschinencrawler vorschreibt, welche Unterseiten einer Domain gecrawlt und indexiert werden dürfen und welche nicht. Es können Dateien, URLs, Verzeichnisse oder ganze Domains vom Crawlen ausgeschlossen werden.
Außerdem kann man in der robots.txt Datei auch vorschreiben, welche Suchmaschinenbots eine Seite überhaupt crawlen dürfen.
Die Textdatei wird im Root Verzeichnis einer Website hinterlegt und ist so das erste Dokument, das vom Suchmaschinenbot aufgerufen wird, wenn dieser auf die Seite gelangt. Die Robots.txt Datei lässt sich unter https://www.domain.de/robots.txt aufrufen.
Beispiel:
Soll ein Verzeichnis vom Crawlen des Googlebots ausgeschlossen werden, so steht folgendes in der Robots.txt Datei:
User-agent: Googlebot
Disallow: /verzeichnis/

Mehr dazu hier!