Meta robots tags: fijnmazige controle over AI-bots
Wat zijn meta robots tags en waarom zijn ze belangrijk?
Meta robots tags zijn HTML-instructies die je in de head-sectie van een pagina plaatst om crawlers te vertellen hoe ze de pagina moeten behandelen. Waar robots.txt werkt op site-niveau en dicteert welke URL-paden een crawler mag bezoeken, werken meta robots tags op paginaniveau en geven ze instructies over wat een crawler met de content mag doen na het bezoeken.
Dit onderscheid is fundamenteel. Een robots.txt blokkade voorkomt dat een crawler de pagina bezoekt, maar als de pagina toch wordt ontdekt (bijvoorbeeld via een link op een andere site), kan de crawler deze alsnog indexeren op basis van de linktekst. Een meta robots noindex instructie daarentegen vertelt de crawler expliciet om de pagina niet in zijn index op te nemen, ongeacht hoe hij de pagina heeft gevonden. Voor een complete controle over je AI-zichtbaarheid heb je beide instrumenten nodig. Lees ons artikel over robots.txt voor AI voor het paginabrede perspectief.
Robots.txt blokkeert toegang tot pagina's. Meta robots tags controleren wat crawlers doen nadat ze de pagina hebben bezocht. Gebruik beide samen voor volledige controle over je AI-zichtbaarheid.
De standaard meta robots directives
De meest gebruikte meta robots directives zijn al decennialang onderdeel van het web. Deze directives worden door alle grote zoekmachines en de meeste AI-crawlers gerespecteerd.
<head>\n <!-- Standaard: indexeren en links volgen (standaard gedrag) -->\n <meta name="robots" content="index, follow" />\n\n <!-- Niet indexeren, wel links volgen -->\n <meta name="robots" content="noindex, follow" />\n\n <!-- Wel indexeren, links niet volgen -->\n <meta name="robots" content="index, nofollow" />\n\n <!-- Niet indexeren en links niet volgen -->\n <meta name="robots" content="noindex, nofollow" />\n\n <!-- Geen snippet tonen in zoekresultaten -->\n <meta name="robots" content="nosnippet" />\n\n <!-- Geen afbeelding tonen in zoekresultaten -->\n <meta name="robots" content="noimageindex" />\n\n <!-- Geen gecachte versie aanbieden -->\n <meta name="robots" content="noarchive" />\n</head>Uitleg per directive
- index / noindex: bepaalt of de pagina in de index van de crawler mag worden opgenomen. noindex is het sterkste signaal om een pagina uit AI-resultaten te houden.
- follow / nofollow: bepaalt of de crawler links op de pagina mag volgen. nofollow voorkomt dat de crawler via je pagina andere pagina's ontdekt.
- nosnippet: voorkomt dat een zoekmachine of AI-model een tekstfragment van je pagina toont. Nuttig als je niet wilt dat je content wordt geciteerd.
- noimageindex: voorkomt dat afbeeldingen op de pagina worden geindexeerd. Heeft beperkte ondersteuning bij AI-crawlers.
- noarchive: voorkomt dat een gecachte kopie van je pagina beschikbaar wordt gesteld. Relevant voor gevoelige content.
Bot-specifieke meta robots tags
Een van de krachtigste mogelijkheden van meta robots tags is dat je instructies kunt geven aan specifieke bots. In plaats van het generieke "robots" als name-waarde, kun je de naam van een specifieke crawler gebruiken.
<head>\n <!-- Instructies voor alle crawlers -->\n <meta name="robots" content="index, follow" />\n\n <!-- GPTBot mag deze pagina niet indexeren -->\n <meta name="GPTBot" content="noindex" />\n\n <!-- Google mag indexeren maar geen snippet tonen -->\n <meta name="googlebot" content="index, nosnippet" />\n\n <!-- Google AI (Gemini) mag content niet voor training gebruiken -->\n <meta name="Google-Extended" content="noindex" />\n\n <!-- PerplexityBot mag indexeren en links volgen -->\n <meta name="PerplexityBot" content="index, follow" />\n\n <!-- Anthropic's crawler blokkeren -->\n <meta name="anthropic-ai" content="noindex" />\n</head>Bot-specifieke meta robots tags geven je een granulaire controle die robots.txt niet biedt. Je kunt bijvoorbeeld Googlebot toestaan om je content te indexeren voor zoekresultaten, maar Google-Extended blokkeren voor AI-trainingsgebruik. Of je kunt PerplexityBot toestaan je content te citeren, maar GPTBot instrueren om je content niet op te nemen. Deze gedifferentieerde aanpak is bijzonder waardevol voor organisaties die strategisch willen kiezen welke AI-platforms hun content mogen gebruiken. Combineer dit met de inzichten uit ons artikel over security headers voor een volledig controleplaatje.
Nieuwe directives voor het AI-tijdperk
Met de opkomst van AI-modellen die webcontent gebruiken voor training en antwoordgeneratie, ontstaan nieuwe meta robots directives die specifiek gericht zijn op AI-gebruik.
noai en noimageai
Google heeft de noai directive geintroduceerd om website-eigenaren controle te geven over het gebruik van hun content door AI-modellen. De noimageai directive doet hetzelfde specifiek voor afbeeldingen.
<head>\n <!-- Voorkom dat AI-modellen deze content voor training gebruiken -->\n <meta name="robots" content="noai" />\n\n <!-- Voorkom AI-gebruik van afbeeldingen op deze pagina -->\n <meta name="robots" content="noimageai" />\n\n <!-- Combineer meerdere directives -->\n <meta name="robots" content="index, follow, noai" />\n\n <!-- Sta indexering toe maar blokkeer AI-training -->\n <!-- Pagina verschijnt in zoekresultaten maar wordt niet\n gebruikt voor het trainen van AI-modellen -->\n <meta name="robots" content="index, follow, noai, noimageai" />\n</head>max-snippet en zijn effect op AI-citaties
De max-snippet directive controleert hoeveel tekens een zoekmachine of AI-model mag gebruiken als fragment van je content. Dit is een subtiel maar krachtig instrument om te beperken hoeveel van je content direct wordt getoond zonder dat de gebruiker doorklikt.
<head>\n <!-- Maximaal 160 tekens als snippet toestaan -->\n <meta name="robots" content="max-snippet:160" />\n\n <!-- Geen snippet toestaan -->\n <meta name="robots" content="max-snippet:0" />\n\n <!-- Geen limiet op snippet-lengte -->\n <meta name="robots" content="max-snippet:-1" />\n\n <!-- Combineer met andere directives -->\n <meta name="robots" content="index, follow, max-snippet:200, noai" />\n</head>Een max-snippet van 160 tekens is vergelijkbaar met een standaard meta description. Dit beperkt hoeveel van je content een AI-model direct kan weergeven, waardoor gebruikers worden gestimuleerd om door te klikken naar je website. Let op: niet alle AI-modellen respecteren max-snippet nog. Het is wel een signaal dat je bewust nadenkt over contentgebruik.
Verdiep je verder: Robots.txt voor AI: meer dan alleen crawl-instructies | Canonical URLs en AI-duplicaten | E-E-A-T optimalisatie voor AI
X-Robots-Tag: HTTP-header alternatief
Niet alle content is HTML. PDF-bestanden, afbeeldingen en API-responses hebben geen HTML-head sectie. Voor deze gevallen biedt de X-Robots-Tag HTTP-header dezelfde functionaliteit als de meta robots tag.
# X-Robots-Tag via HTTP-headers\n# Nginx configuratie\n\n# Blokkeer indexering van alle PDF-bestanden\nlocation ~* \.pdf$ {\n add_header X-Robots-Tag "noindex, nofollow" always;\n}\n\n# Blokkeer AI-training voor afbeeldingen\nlocation ~* \.(jpg|jpeg|png|webp)$ {\n add_header X-Robots-Tag "noimageai" always;\n}\n\n# Bot-specifieke X-Robots-Tag\nlocation /premium-content/ {\n add_header X-Robots-Tag "GPTBot: noindex" always;\n add_header X-Robots-Tag "googlebot: index, nosnippet" always;\n}\n\n# Laravel middleware\n// app/Http/Middleware/XRobotsTag.php\npublic function handle($request, Closure $next)\n{\n $response = $next($request);\n \n if ($request->is('premium/*')) {\n $response->headers->set(\n 'X-Robots-Tag',\n 'noindex, nofollow'\n );\n }\n \n return $response;\n}De X-Robots-Tag header ondersteunt dezelfde directives als de meta robots tag, inclusief bot-specifieke targeting. Dit maakt het een onmisbaar instrument voor het controleren van AI-toegang tot niet-HTML resources.
Strategische inzet van meta robots voor AI
De kracht van meta robots tags zit in de strategische combinatie van directives per paginatype. Hier is een overzicht van veelvoorkomende scenario's.
- Publieke blogposts en artikelen: index, follow. Maximale zichtbaarheid in zowel zoekresultaten als AI-antwoorden.
- Premium of betaalde content: noindex of nosnippet. Voorkom dat AI-modellen je volledige content weergeven zonder dat de gebruiker betaalt.
- Interne zoekresultaten en filterpagina's: noindex, follow. Voorkom indexering van thin content maar laat crawlers de links volgen.
- Gevoelige bedrijfsinformatie: noindex, nofollow, noarchive. Maximale restrictie voor content die niet buiten je site hoort.
- Content die je wel in Google wilt maar niet in AI-training: index, follow, noai. Blijf zichtbaar in zoekresultaten maar blokkeer AI-trainingsgebruik.
Meta robots tags zijn je fijnmazige controle over AI. Waar robots.txt een slotgracht is, zijn meta robots tags de individuele sloten op elke deur in je kasteel.
Samenvatting
- Meta robots tags werken op paginaniveau en controleren wat crawlers doen nadat ze je pagina hebben bezocht, aanvullend op robots.txt dat de toegang beheert.
- Bot-specifieke meta robots tags (name="GPTBot") geven je granulaire controle over welke AI-platforms je content mogen indexeren en gebruiken.
- Nieuwe directives als noai en noimageai bieden specifieke controle over AI-trainingsgebruik, los van reguliere zoekindexering.
- De X-Robots-Tag HTTP-header biedt dezelfde functionaliteit voor niet-HTML content zoals PDF's en afbeeldingen.
- Combineer meta robots tags strategisch per paginatype: maximale zichtbaarheid voor publieke content, gerichte restricties voor premium en gevoelige content.
Veelgestelde vragen
Respecteren alle AI-crawlers meta robots tags?
De grote AI-crawlers (GPTBot, Google-Extended, ClaudeBot) respecteren standaard meta robots directives als noindex en nofollow. Ondersteuning voor nieuwere directives als noai varieert. Google respecteert noai voor Google-Extended. OpenAI en Anthropic respecteren noindex voor hun respectievelijke crawlers. Het is verstandig om naast meta robots ook robots.txt te gebruiken voor dubbele bescherming.
Wat is het verschil tussen noindex in robots.txt en in meta robots?
Robots.txt bevat geen noindex directive. Robots.txt kan alleen de toegang blokkeren via Disallow. Als een crawler een URL niet mag bezoeken (Disallow), kan hij de meta robots tag niet lezen. Maar als dezelfde URL via een externe link wordt gevonden, kan de crawler de URL alsnog indexeren op basis van de linktekst. Een meta robots noindex is daarom effectiever: het vertelt de crawler expliciet om de pagina niet te indexeren, ongeacht hoe hij hem heeft gevonden.
Kan ik meta robots tags dynamisch instellen per gebruiker of sessie?
Technisch is dit mogelijk, maar het wordt sterk afgeraden. Als je verschillende meta robots tags serveert aan crawlers versus gebruikers, wordt dit als cloaking beschouwd en kan het leiden tot sancties. De meta robots tags moeten voor alle bezoekers (inclusief crawlers) identiek zijn. Gebruik in plaats daarvan server-side logica die consistent dezelfde tags levert op basis van het paginatype, niet op basis van de bezoeker.
Heeft noindex invloed op mijn links en domeinautoriteit?
Een noindex tag voorkomt dat de pagina in de index wordt opgenomen, maar als je "follow" toevoegt (noindex, follow), volgt de crawler nog steeds de links op de pagina. De link-equity stroomt nog steeds naar de gekoppelde pagina's. Als je ook de links wilt blokkeren, gebruik dan noindex, nofollow. De impact op domeinautoriteit is indirect: niet-geindexeerde pagina's dragen niet bij aan je zichtbaarheid, maar de links erop kunnen dat nog wel.
Hoe test ik of mijn meta robots tags correct werken?
Controleer de HTML-broncode van je pagina (Ctrl+U) en zoek naar de meta robots tag in de head-sectie. Gebruik de Google Rich Results Test om te zien hoe Google je tags interpreteert. Voor HTTP-header varianten (X-Robots-Tag), gebruik curl -I https://jouwsite.nl/pagina om de response headers te bekijken. Controleer ook je Google Search Console voor eventuele waarschuwingen over conflicterende indexeringsinstructies.
In het AI-tijdperk heb je fijnmazige controle nodig over je content. Meta robots tags zijn het instrument waarmee je per pagina, per bot en per directive bepaalt wie wat mag doen met je content.
Hoe scoort jouw website op AI-gereedheid?
Krijg binnen 30 seconden je AEO-score en ontdek wat je kunt verbeteren.
