Was ist robots.txt?

Kurze Antwort

Robots.txt ist eine kleine Datei auf deiner Website. Sie sagt Suchmaschinen und KI-Bots, welche Bereiche sie nicht besuchen dürfen.

Jede Website kann eine robots.txt unter der Adresse /robots.txt haben. Darin steht, welche Bots welche Ordner nicht besuchen dürfen. Oft steht dort auch der Link zu deiner Sitemap.

Achtung: robots.txt hält eine Seite nicht aus Google heraus. Google kann die Adresse trotzdem aufnehmen, nur ohne Inhalt. Willst du wirklich nicht gefunden werden? Dann nutze ein noindex oder ein Passwort.

Prüfe auch, ob deine robots.txt keine KI-Bots blockiert. Dann kann ChatGPT dich nie nennen.

Beispiel aus der Praxis

Eine Testversion einer Website war mit robots.txt abgeschirmt. Trotzdem standen die Adressen in Google. Ein Passwort auf der Testversion hat das Problem gelöst.

So helfen wir dabei

Bei Marketingfreunde kümmern wir uns darum für Unternehmen in ganz Europa. Lies mehr über Website-Wartung und Hosting oder starte mit dem kostenlosen Scan.

Auch gut zu wissen

Neugierig, wie deine Website abschneidet? In einer Minute bekommst du deine Punktzahl und deine drei größten Konkurrenten.

Starte den kostenlosen Scan