Wat is robots.txt?

Kort antwoord

Robots.txt is een klein bestand op je website. Het vertelt zoekmachines en AI-bots welke delen ze niet mogen bezoeken.

Elke website kan een robots.txt hebben op het adres /robots.txt. Daarin staat welke bots welke mappen niet mogen bezoeken. Ook staat er vaak de link naar je sitemap.

Let op: robots.txt houdt een pagina niet uit Google. Google kan het adres toch opnemen, alleen zonder inhoud. Wil je echt niet gevonden worden? Gebruik dan een noindex of een wachtwoord.

Kijk ook of je robots.txt geen AI-bots blokkeert. Dan kan ChatGPT je nooit noemen.

Voorbeeld uit de praktijk

Een testversie van een website stond met robots.txt afgeschermd. Toch stonden de adressen in Google. Een wachtwoord op de testversie loste het op.

Hoe wij hierbij helpen

Bij Marketingvrienden regelen we dit voor ondernemers in Apeldoorn en omgeving. Lees meer over Website onderhoud en hosting of doe eerst de gratis scan.

Ook handig om te weten

Benieuwd hoe je website scoort? Je krijgt binnen een minuut je score en je drie grootste concurrenten.

Start de gratis scan