--- title: 'AI-crawlers op 29 websites: wat we in de serverlogs zagen' canonical_url: 'https://d-media.nl/blog/ai-crawlers-op-29-websites-wat-we-in-de-serverlogs-zagen' datePublished: '2026-09-09T09:45:10+02:00' dateModified: '2026-09-09T09:45:10+02:00' language: nl description: 'Eigen data-analyse van AI-bots op 29 websites: welke bots langskomen, wat ze ophalen en waarom een crawl nog geen vermelding is.' image: 'https://d-media.nl/sites/default/files/blog/Header%20AI-crawlers.png' --- Veel cijfers over AI-crawlers zijn afkomstig van externe onderzoeksplatforms. Wij wilden weten wat er gebeurt op websites die we zelf beheren. Daarom analyseerden we vijf weken aan serverlogs van 29 publieke websites, van B2B-bedrijfssites en consumentenmerken tot onderwijs-, recruitment- en gezondheidsplatforms. In totaal registreerden we **1.277.643 requests van AI-gerelateerde bots**. Daarbij vielen vooral drie dingen op: - bijna **19% van de requests werd door een beveiligingslaag geblokkeerd**; - bots die informatie ophalen voor een actuele gebruikersvraag zorgden voor een aanzienlijk deel van het verkeer; - bestanden als llms.txt werden nauwelijks opgevraagd door de grote AI-platforms. De verschillen tussen websites en servers waren groot. De drukst bezochte site kreeg ruim 200.000 requests, terwijl de mediaan rond de 16.000 lag. Op de ene server werd ruim 6% van de requests geblokkeerd; op de andere was dat meer dan 31%. Ook zagen we dat de pagina’s die AI-bots vaak ophalen niet altijd dezelfde pagina’s zijn die goed scoren in Google. Een nummer 1-positie in Google biedt dus niet automatisch zichtbaarheid in AI-antwoorden. In het artikel: [Waarom je nummer 1-positie in Google geen zichtbaarheid in AI garandeert](/blog/waarom-je-nummer-1-positie-google-geen-zichtbaarheid-ai-garandeert), leggen we uit hoe dat verschil ontstaat. Deze cijfers bewijzen niet dat een website daadwerkelijk in een AI-antwoord is genoemd. Ze laten wel zien of AI-gerelateerde bots je content proberen te bereiken en of je website dat technisch mogelijk maakt. In dit artikel laten we zien wat we hebben gemeten, wat je daar als marketeer van kunt leren en waar de grenzen van de data liggen. ## Hoe we dit hebben gemeten We analyseerden Apache combined serverlogs (access logs) van de websites op twee van onze servers: de actuele bestanden plus de wekelijkse rotaties. We namen zowel de primaire sitelogs als de logbestanden van aanvullende domeinen (addon-domeinlogs) mee en ontdubbelden op het echte bestandspad, zodat dezelfde logfile niet twee keer meetelde. AI-bots herkenden we aan hun user-agent, met een lijst van bekende namen: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Perplexity-User, GoogleOther, Google-Extended, Bytespider, CCBot, Amazonbot, Applebot, Meta, MistralAI-User, Cohere en meer. Als “publieke website” telden we unieke sites met eigen content. Domein zonder www (apex) en met www zijn één site. Algemene opvangdomeinen (catch-alls), serverhosts, intranet, privacy- en platform-subhosts en interne testdomeinen lieten we buiten de N. Merksites en landsites bleven apart, ook als ze tot dezelfde organisatie horen: een .nl-merk en een .be-merk zijn twee sites, en een landsite telt eveneens apart als die een eigen publiek aanbod heeft. Drie beperkingen die je vooraf moet kennen: - Een user-agent is zelfverklaard. Een bot noemt zichzelf GPTBot; wij kunnen dat op naam herkennen, maar de naam kan in theorie worden nagebootst. - Een request is geen bezoeker en geen gesprek. Één bot kan tientallen pagina’s ophalen en dat herhalen. - Een meting op onze servers is een steekproef, geen landelijk gemiddelde. De uitkomsten laten patronen zien, geen absolute waarheid over “het web”. Deze aanpak is bewust anders dan een losse tool die achteraf een schatting maakt. Het is onze eigen data, rechtstreeks uit de bron. ## Welke bots langskomen Over de hele meetset zijn dit de grootste AI-bots, op volgorde van aantal requests: \#BotRequestsType1Bytespider326.123index/corpus (ByteDance)2ChatGPT-User147.334live ophalen voor een antwoord3meta-externalagent116.308index/corpus (Meta)4Applebot101.430zoekcrawler (Apple)5GoogleOther89.728index/verkenning (Google)6ClaudeBot79.370index/corpus (Anthropic)7Amazonbot68.644index/corpus8Amzn-SearchBot59.321AI-zoekindex (Amazon)9OAI-SearchBot53.455AI-zoekindex (OpenAI)10CCBot36.936corpus (Common Crawl)11GPTBot33.341training/corpus (OpenAI)12Perplexity-User27.159live ophalen voor een antwoord De mix verschilt sterk per server. Op de ene domineert Bytespider, op de andere staan Meta, GoogleOther en Applebot bovenaan. Over de hele set blijft Bytespider de grootste (een kwart van alle AI-requests), maar de nummer twee is geen trainingscrawler: het is ChatGPT-User. Een opvallend detail dat vrijwel niemand expliciet maakt: de bot die *live* ophaalt voor een lopend gesprek, ChatGPT-User, deed **147.334 requests** — ruim vier keer zoveel als de zuivere trainingscrawler GPTBot (33.341). Het meeste OpenAI-verkeer op onze sites komt dus niet “voor later”, maar “voor nu”: iemand stelt op dit moment een vraag en de assistent haalt een pagina op om te antwoorden. Bytespider staat bovenaan, maar dat is een brede crawler die niet per se aan een AI-antwoord gekoppeld is. ## Drie soorten bots, en waarom dat uitmaakt Niet elke AI-bot betekent hetzelfde. Ze komen grofweg in drie smaken, en alleen aan de user-agent zie je met welke je te maken hebt: - **Live ophalen voor een antwoord.** Iemand stelt op dat moment een vraag en de assistent haalt je pagina op om te antwoorden. Dit ligt het dichtst bij een echte vermelding. Denk aan ChatGPT-User, Perplexity-User, Claude-User. - **Opbouwen van een AI-zoekindex.** De assistent ordent pagina’s zodat je content later als bron gekozen kan worden. Denk aan OAI-SearchBot, Claude-SearchBot, PerplexityBot. - **Verzamelen voor training of corpus.** De pagina wordt opgehaald om een model in het algemeen te voeden. Interessant, maar het zegt niets over je zichtbaarheid van vandaag. Als we alle 1.277.643 AI-bot-requests over deze groepen verdelen, ontstaat dit beeld: **17 procent** komt van expliciete user-agents die live ophalen, **13 procent** van search-bots die aan een AI-zoekindex bouwen, en **70 procent** van brede crawlers. Alleen de expliciete User- en Search-agents rekenen we tot de eerste twee groepen; brede crawlers als GoogleOther, Bytespider en Amazonbot laten we bewust bij “overige”, omdat hun doel niet zeker uit de naam volgt. Dat de brede crawlers hier de grootste groep vormen, verschilt van wat je op één inhoudelijke site ziet: daar wegen de live ophaal-agents juist zwaarder. Het beeld hangt dus sterk af van het type site. ## De techniek: llms.txt, robots.txt en het gokken naar API’s Er wordt veel gesproken over `llms.txt`, een voorgesteld bestand waarmee je AI-systemen zou wijzen op je belangrijkste content. Wij hebben het zelf live staan. En juist daardoor kunnen we meten of het werkt. Het antwoord uit onze logs is nuchter. In een eerdere meting over dezelfde servers gingen slechts **81 AI-bot-requests naar** `llms.txt`: minder dan een honderdste procent van het AI-verkeer. Dezelfde bots vroegen `robots.txt` tienduizenden keren op (in die meting ruim 32.000 keer). En die 81 hits kwamen niet van de grote labs, maar bijna volledig van scanners die AI-richtlijnen inventariseren (ethicrawl, Common Crawl, Dataspeak). GPTBot, ClaudeBot, ChatGPT-User en Perplexity vroegen `llms.txt` geen enkele keer op. Ook de nieuwere bestanden waarmee systemen content of API’s kunnen ontdekken (discovery-standaarden) zien we niet gebruikt worden door de labs. Verzoeken naar `/.well-known/api-catalog` en `/.well-known/ai-catalog.json` kwamen alleen van meetscanners, en leverden uitsluitend 404’s op. Wat de labs wél doen: ze **gokken** naar `/openapi.json` als ze een host al bezoeken. Ongeveer 3.200 van die verzoeken kwamen van een AI-user-agent, terwijl geen van onze sites zo’n bestand serveert. De conclusie die wij eruit trekken: discovery-bestanden als `llms.txt` en catalogs sturen op dit moment niet de bots die je denkt te sturen. De basis blijft een technisch toegankelijke site met heldere structuur en betrouwbare content. ## Worden AI-bots eigenlijk goed bediend? Een crawl heeft alleen zin als de bot ook echt content terugkrijgt. Daarom keken we naar de HTTP-status van elk AI-bot-request: krijgt de bot een `200` of `206` met inhoud, of loopt hij tegen een `403`, een `404` of een redirectketen aan? Het resultaat is opvallend. **42 procent van de afzonderlijke requests kreeg direct content terug met een 200- of 206-status.** Bij de overige requests was eerst een vervolgstap nodig, werd toegang geweigerd of bestond de opgevraagde URL niet. - **19 procent werd geblokkeerd met een 403**, vrijwel altijd door een firewall of beveiligingslaag of webfirewall (WAF). - **21 procent** eindigde in een omleiding (301/302/307), vaak een apex-naar-www- of http-naar-https-keten. - **11 procent** kreeg een 404. - **7 procent** bestaat uit overige statuscodes. De 403-blokkades zijn het meest leerzaam, omdat het verschil tussen de twee servers enorm is: op de ene server werd **ruim 6 procent** van de AI-bot-requests geblokkeerd, op de andere **ruim 31 procent**. Dezelfde soort content, een compleet ander resultaat, puur door een instelling in de beveiligingslaag. Meestal weet de beheerder daar niets van. Belangrijk: dit is géén `robots.txt`-probleem. `robots.txt` werd juist netjes geserveerd (bijna altijd een 200 of een nette redirect, en slechts een handvol 403’s). De blokkade zit dieper, in de firewall die het eigenlijke paginaverkeer tegenhoudt. Zo’n blokkade kan een van de redenen zijn waarom sterke content niet wordt meegenomen in AI-antwoorden. Als een systeem de pagina niet kan ophalen, krijgt de inhoud immers geen kans om als actuele bron te dienen. ## Wat deze data niet bewijst Eerlijk is eerlijk. Deze meting laat zien dat een AI-systeem je pagina heeft opgehaald. Dat is een sterke indicatie, geen sluitend bewijs dat je in het antwoord bent genoemd. In onze eigen Brand Radar-tracking zien we dat verschil terug: voor onze eigen site meten we volop crawls, maar in de gevolgde ChatGPT-antwoorden staat op dit moment geen enkele geciteerde pagina van ons. Een bot die ophaalt, is dus nog geen vermelding. Wat de logs ook niet tonen: welke vraag eraan voorafging, welk fragment eventueel is gebruikt, en of je merk zichtbaar werd genoemd. En niet elk systeem laat een spoor achter. Grok meldt zich niet apart, en van de AI-antwoorden in Google zie je maar een deel. Wat het wél is: het beste eerste signaal dat je op dit moment hebt, uit je eigen bron, zonder tussenpartij. ## Wat je hier als marketeer mee kunt Kijk naar de richting, niet naar de exacte getallen. En let vooral op welke pagina’s AI-bots het vaakst ophalen: dat vertelt je welke onderwerpen AI-systemen de moeite waard vinden. Staat een commercieel belangrijke pagina daar niet tussen, dan heb je een concreet aanknopingspunt. En controleer of je firewall geen AI-bots wegstuurt: een blokkade van tientallen procenten is zo gebeurd. Wil je weten wat zulke gegevens in de praktijk vertellen? In ons artikel over [AI-zichtbaarheid meten](/blog/ai-zichtbaarheid-meten-wat-de-bots-op-je-site-je-al-vertellen) laten we aan de hand van echte crawlgegevens zien welke inzichten je eruit haalt. En met de [AI Bot Crawls-module](/welke-ai-systemen-halen-jouw-website-op) meten we dit voor Websmart-klanten rechtstreeks in Google Analytics 4. Daniel Schoone Marketing technoloog en eigenaar van d-Media - [ Daniel Schoone op Twitter ](https://x.com/djschoone) - [ Daniel Schoone op LinkedIN ](https://nl.linkedin.com/in/djschoone) Daniel verbindt marketing en techniek. Sinds 2002 helpt hij met d-Media B2B-organisaties in food, industrie, zorg en kennisintensieve dienstverlening om hun website in te zetten als groeimotor: van contentstrategie en conversie tot de koppelingen met PIM, ERP, CRM en marketing automation die dat mogelijk maken. Hij bouwt op open source, voor B2B-marketing meestal met Drupal. Hij schrijft over wat AI verandert aan de manier waarop bedrijven online gevonden en aanbevolen worden. [Terug naar het overzicht](/blog) Mis niets Ontvang onze blogs met tips, inspiratie en nieuwtjes in je mailbox.