Wat is een AI-crawler precies?
Een AI-crawler is een geautomatiseerde bot die pagina's van je site opvraagt, net zoals Googlebot dat al twintig jaar doet. Het verschil zit in het doel. Een klassieke zoekmachine-crawler indexeert je pagina om ze later in zoekresultaten te tonen. Een AI-crawler doet grofweg één van twee dingen: hij verzamelt tekst om een taalmodel mee te trainen, of hij haalt op het moment van een vraag jouw pagina op om een actueel antwoord samen te stellen.
Dat onderscheid is belangrijker dan het lijkt. Een train-crawler leest je content ooit een keer en gebruikt die maanden later, verwerkt in de "kennis" van een model. Een live-crawler leest je pagina op het moment dat een gebruiker een vraag stelt, en citeert je vaak direct met bronvermelding. Als je wilt voorkomen dat je content model-trainingsdata wordt maar wel geciteerd wilt worden in AI Overviews en Perplexity, moet je die twee groepen apart behandelen.
In de praktijk zien we bij Nederlandse MKB-sites dat AI-crawlers inmiddels tussen de 5 en 20 procent van alle bot-verkeer uitmaken. Dat is geen ruis meer, dat is een categorie die je bewust wilt beheren.
De crawlers die je in 2026 tegenkomt
Je herkent een crawler aan zijn user-agent: een tekstregel die de bot bij elk bezoek meestuurt. Hieronder de bots die je op een gemiddelde Nederlandse site het vaakst ziet, met wat ze doen.
- GPTBot (OpenAI): train-crawler voor ChatGPT-modellen. Leest content om toekomstige modellen te trainen.
- OAI-SearchBot (OpenAI): de live-variant die pagina's ophaalt voor ChatGPT-search-antwoorden. Deze wil je toelaten.
- ClaudeBot (Anthropic): train-crawler voor Claude. Er is daarnaast Claude-User voor live-ophalen.
- PerplexityBot: haalt pagina's op voor Perplexity-antwoorden, meestal met directe bronvermelding.
- Google-Extended: het token waarmee je Gemini-training en AI Overviews-gebruik regelt via robots.txt.
- Bytespider (ByteDance/TikTok): een van de agressiefste crawlers qua volume, gebruikt voor Doubao en TikTok-zoek. Bekend om veel verzoeken in korte tijd.
- Meta-ExternalAgent (Meta AI): crawlt voor de AI-functies binnen Facebook en Instagram.
Hoe herken je ze in je serverlogs?
Elke bot laat een spoor achter in je access-logs. Op een LiteSpeed- of Apache-server staan die logs meestal in een map als /var/log of via je hostingpaneel. Je zoekt in de user-agent-kolom naar de botnaam. Een regel van GPTBot bevat letterlijk de string "GPTBot" plus een verwijzing naar de documentatie van OpenAI.
Belangrijk: user-agents zijn te vervalsen. Iemand kan zich voordoen als GPTBot terwijl het een scraper is. De echte crawlers publiceren daarom hun IP-ranges. Wil je zeker weten dat een bezoek van de echte GPTBot komt, dan controleer je of het IP-adres in de officieel gepubliceerde reeks valt. Voor de meeste MKB-sites is dat overkill, maar bij verdacht hoog verkeer is het de moeite waard.
Een praktische shortcut: veel securityplugins en je hostingpartij houden bot-verkeer al bij in een dashboard. Vraag ernaar voordat je zelf door ruwe logs gaat spitten. Draait je site bij ons op LiteSpeed-hosting, dan zien we dit soort verkeer standaard in de monitoring.
Blokkeren of toelaten? De afweging
Dit is de kern van het verhaal. Er is geen universeel goed antwoord, het hangt af van wat je wilt bereiken. Splits de vraag altijd in twee delen.
Train-crawlers: een principekwestie
GPTBot en ClaudeBot in hun train-rol gebruiken je content om modellen te verbeteren. Je krijgt daar niet direct verkeer voor terug. Sommige uitgevers blokkeren ze principieel omdat ze niet gratis trainingsdata willen leveren. Voor een MKB-dienstverlener die vooral gevonden wil worden, is dat blokkeren meestal onnodig en soms nadelig: hoe meer een model over jou "weet", hoe eerder het je noemt.
Live-crawlers: bijna altijd toelaten
OAI-SearchBot, PerplexityBot en Claude-User halen je pagina op om een actueel antwoord te bouwen, vaak met een klikbare bronlink naar jou. Deze blokkeren betekent letterlijk: verdwijnen uit die antwoorden. Voor zichtbaarheid in AI-search wil je deze crawlers vrijwel altijd doorlaten.
Volumevreters zoals Bytespider
Bytespider staat bekend om hoge verzoekvolumes die je server kunnen belasten. Als je in de TikTok-markt niets te zoeken hebt en de bot vreet bandbreedte, is blokkeren of afknijpen (rate-limiting) een legitieme keuze. Weeg serverlast tegen mogelijk bereik.
Zo stel je het in via robots.txt
De meeste AI-crawlers respecteren robots.txt, het tekstbestand in de root van je site. Je regelt toegang per user-agent-token. Wil je bijvoorbeeld train-crawlers weren maar live-crawlers toelaten, dan benoem je elke bot expliciet. Meer over de opbouw lees je in onze gids over robots.txt.
Een veelgemaakte fout: een generieke `Disallow: /` onder `User-agent: *` zetten en denken dat je alleen mensen buitensluit. Zo blokkeer je per ongeluk ook de live-crawlers en verdwijn je uit AI-antwoorden. Wees dus altijd specifiek. En let op: robots.txt is een verzoek, geen slot. Crawlers die zich niet netjes gedragen negeren het. Wil je echt hard blokkeren, dan doe je dat op serverniveau via een firewallregel op de user-agent of het IP.
Voor wie AI-crawlers juist actief wil helpen: een llms.txt-bestand wijst modellen naar je belangrijkste pagina's, als een sitemap speciaal voor AI.
Een praktijkvoorbeeld uit onze logs
Neem een installatiebedrijf waarvan wij de hosting draaien. Over een periode van 30 dagen telden we in de logs grofweg het volgende bot-verkeer buiten Googlebot om.
Bytespider: circa 4.200 verzoeken, goed voor het grootste deel van het AI-botverkeer, zonder enige verwijzing terug in analytics.
GPTBot: circa 900 verzoeken, netjes verspreid, geen serverlast.
PerplexityBot en OAI-SearchBot samen: circa 350 verzoeken, en in diezelfde maand zagen we voor het eerst kliks vanuit Perplexity naar de site.
De conclusie voor deze klant: Bytespider hebben we via rate-limiting afgeknepen omdat het puur last opleverde, de OpenAI- en Perplexity-crawlers hebben we bewust doorgelaten. Binnen zes weken verscheen de site in meerdere Perplexity-antwoorden voor lokale zoekvragen. Dat is precies de afweging die we hierboven beschreven, maar dan met echte cijfers.
Bot-verkeer blind blokkeren is net zo dom als het blind toelaten. De kunst is weten welke crawler je iets oplevert en welke alleen je bandbreedte opeet.
Wat je maandelijks zou moeten checken
AI-crawlers veranderen snel. Er komen nieuwe bots bij, tokens worden hernoemd, en volumes schommelen. Een lichte maandelijkse routine houdt je in controle zonder dat het een dagtaak wordt.
- Scan je serverlogs op nieuwe of onbekende user-agents die vaak terugkomen.
- Controleer je robots.txt nog klopt met wat je wilt toelaten of weren.
- Houd je bandbreedte in de gaten: een plotselinge piek is vaak een agressieve crawler.
- Zoek maandelijks je merk op in ChatGPT-search en Perplexity om te zien of toelaten effect heeft.