Wat is robots.txt precies?
Robots.txt is een tekstbestand dat je plaatst in de hoofdmap van je website, bereikbaar op jouwsite.nl/robots.txt. Het geeft instructies aan crawlers (ook wel bots of spiders genoemd): de programma's van Google, Bing en tegenwoordig ook AI-tools die je site bezoeken om te lezen wat erop staat.
Belangrijk om te begrijpen: robots.txt is een beleefd verzoek, geen beveiliging. Nette crawlers zoals Googlebot houden zich eraan. Kwaadwillende bots negeren het gewoon. Wil je iets écht afschermen, dan doe je dat met een wachtwoord of via je serverinstellingen, niet met robots.txt.
Het bestand doet ook iets anders dan veel mensen denken. Een pagina blokkeren in robots.txt betekent niet dat die pagina uit Google verdwijnt. Google kan de URL nog steeds tonen, alleen zonder de inhoud te lezen. Om een pagina echt uit de zoekresultaten te houden gebruik je een noindex-instructie, niet robots.txt.
Hoe is een robots.txt opgebouwd?
De syntax is simpel. Je werkt met een handvol regels die steeds hetzelfde patroon volgen: eerst zeg je vóór welke crawler een regel geldt (User-agent), daarna wat wel of niet mag (Allow of Disallow).
- User-agent: voor welke bot de volgende regels gelden. Een sterretje (*) betekent: alle bots.
- Disallow: welk pad de bot níet mag bezoeken. Disallow: /wp-admin/ sluit die map af.
- Allow: een uitzondering binnen een geblokkeerd pad. Handig om één bestand wél toe te staan.
- Sitemap: de volledige URL naar je XML-sitemap, zodat crawlers je pagina's makkelijk vinden.
Voorbeeld 1: standaard WordPress-site
Voor de meeste WordPress-sites voldoet een minimale robots.txt. Je blokkeert de beheeromgeving, laat het AJAX-bestand dat WordPress nodig heeft wel toe, en verwijst naar je sitemap. Meer heb je meestal niet nodig.
Een gezonde basis ziet er zo uit:
- User-agent: * (geldt voor alle bots)
- Disallow: /wp-admin/ (beheeromgeving buiten de zoekresultaten houden)
- Allow: /wp-admin/admin-ajax.php (dit bestand heeft WordPress nodig)
- Sitemap: https://jouwsite.nl/sitemap_index.xml (verwijs naar je XML-sitemap)
Voorbeeld 2: AI-crawlers bewust toelaten
In 2026 is dit misschien wel belangrijker dan de klassieke regels. AI-tools zoals ChatGPT, Perplexity en Google Gemini sturen eigen crawlers op je site af. Als je die blokkeert, kom je niet voor in hun antwoorden. Veel sites doen dat per ongeluk, of blokkeren ze "voor de zekerheid" en sluiten zichzelf zo uit van de nieuwe zoekwereld.
De belangrijkste AI-crawlers om níet te blokkeren zijn GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot en Google-Extended (Gemini). Wil je begrijpen hoe je ze in je logs herkent, lees dan AI-crawlers herkennen.
Onze regel: blokkeer een AI-crawler alleen als je een concrete reden hebt. Voor de meeste MKB-bedrijven is zichtbaarheid in AI-antwoorden juist een kans, geen risico. Meer daarover in onze uitleg over llms.txt, het nieuwe zusje van robots.txt speciaal voor AI.
De fouten die wij het vaakst zien
Robots.txt is klein, maar één verkeerde regel kan je hele vindbaarheid slopen. Dit zijn de blunders die wij bij audits keer op keer tegenkomen.
De site is per ongeluk helemaal geblokkeerd
De klassieker: Disallow: / onder User-agent: *. Dit verbiedt alle bots je hele site te crawlen. Vaak een restant van de bouwfase, want veel WordPress-sites zetten dit standaard aan met de optie "zoekmachines ontmoedigen". Vergeet je die uit te zetten bij livegang, dan ben je onvindbaar.
CSS en JavaScript geblokkeerd
Sommige oude configuraties blokkeren de map met stylesheets of scripts. Google wil je pagina renderen zoals een bezoeker die ziet. Blokkeer je die bestanden, dan ziet Google een kapotte pagina en kan dat je rankings schaden.
robots.txt gebruiken om pagina's te verbergen
Zoals gezegd: een geblokkeerde pagina kan alsnog in Google verschijnen, zonder inhoud. Wil je iets echt uit de zoekresultaten, gebruik noindex. Zie ook onze uitleg over de canonical URL voor het beheren van dubbele content.
Hoe test je je robots.txt?
Nooit je robots.txt aanpassen zonder te testen. Eén typefout kan het verschil zijn tussen goed vindbaar en onzichtbaar. Gelukkig kan het testen in een paar minuten.
Open eerst gewoon jouwsite.nl/robots.txt in je browser om te zien wat er nu staat. Google Search Console had lang een aparte robots.txt-tester; controleer daarnaast in de sectie Pagina-indexering of er URL's geblokkeerd zijn die je juist wilt tonen. Bij twijfel over je technische setup helpt een gratis site-check om te zien of er iets per ongeluk dichtstaat.
Draai je op LiteSpeed-hosting, let dan op dat firewall-regels soms crawlers blokkeren buiten robots.txt om. Dat zie je niet in het bestand zelf, maar wel in je serverlogs.
Robots.txt is een van de kleinste bestanden op je site en tegelijk een van de gevaarlijkste. Eén regel te veel en je bent onvindbaar. Test altijd voordat je publiceert.
Robots.txt versus sitemap versus noindex
Deze drie worden vaak door elkaar gehaald, terwijl ze verschillende dingen doen. Kort samengevat: robots.txt zegt waar bots wel of niet mogen komen, een sitemap zegt welke pagina's er zijn en belangrijk zijn, en noindex zegt welke pagina's niet in de zoekresultaten mogen.
Wil je een pagina uit Google houden? Gebruik noindex, niet robots.txt. Wil je crawl-budget besparen op onbelangrijke mappen (zoals filters of interne zoekresultaten)? Dan is robots.txt het juiste gereedschap. Wil je dat Google je belangrijke pagina's snel vindt? Verwijs naar je sitemap. Ze werken samen, niet als vervangers van elkaar.