Hosting kiezen die AI-crawlers aankan

Waarom hosting het meest onderschatte AEO-onderdeel is

Ik ga iets zeggen wat hosting-providers niet graag horen: de meeste hostingpakketten zijn niet gebouwd voor de realiteit van AI-crawlers.

Bij Kobalt beheren we hosting voor tientallen klanten. En als er één ding is dat ik in al die jaren heb geleerd, is het dat slechte hosting alle andere investeringen tenietdoet. Je kunt een perfecte llms.txt hebben, uitstekende schema.org markup en een strakke contentstructuur. Maar als je server traag is, onbetrouwbaar of geografisch aan de andere kant van de wereld staat? Dan gaat er veel van die inspanning verloren.

AI-crawlers zijn minder vergevingsgezind dan mensen. Een mens klikt weg en probeert het morgen nog eens. Een AI-crawler registreert de trage responstijd, past zijn crawl-budget aan voor jouw domein en komt in de volgende sessie minder diep. Structureel. Dat is geen incidentje, dat is een patroon.

De vier factoren die ertoe doen

Serverresponstijd: de eerste indruk

Time to First Byte is de meest directe maatstaf voor hoe snel je server reageert. Voor AI-crawlers is dit de eerste horde. Een TTFB boven de 800 milliseconden? Dat is een signaal dat je server overbelast is, onderdimensioneerd of slecht geconfigureerd.

Bij shared hosting met honderden andere websites op dezelfde server is een TTFB van 1,5 tot 3 seconden geen uitzondering. Ik heb het gezien. Regelmatig.

# Meet je TTFB via curl
curl -o /dev/null -s -w "TTFB: %{time_starttransfer}s\nTotaal: %{time_total}s\n" https://jouwdomein.nl

# Ideale uitkomst:
# TTFB: 0.180s
# Totaal: 0.820s

# Zorgwekkende uitkomst:
# TTFB: 1.840s
# Totaal: 4.230s

Concurrent connections: kan je server het aan?

AI-crawlers crawlen niet één pagina tegelijk. Ze sturen meerdere gelijktijdige verzoeken. Als je hostingplan het aantal gelijktijdige verbindingen beperkt (en dat doen de meeste shared plannen), raken die crawl-verzoeken in een wachtrij. Of erger: ze worden afgewezen.

• Shared hosting: typisch 10-25 gelijktijdige verbindingen. Niet ideaal.
• VPS of cloud: doorgaans 50-200 verbindingen, afhankelijk van configuratie. Voldoende voor de meeste sites.
• Dedicated server: volledige controle, schaalbaar naar behoefte.
• Managed WordPress hosting (Kinsta, WP Engine): geoptimaliseerd, goede concurrent-capaciteit.
• CDN-laag ervoor: CloudFlare of Fastly vermindert de belasting op je server significant.

Locatie: dichter bij de crawler, sneller de response

De meeste grote AI-bedrijven zijn Amerikaans. Hun crawlers starten vanuit Amerikaanse of Europese datacenters. Server in Amsterdam, crawler in Virginia? Dat is 80-120 milliseconden netwerklatency voordat er ook maar iets gebeurt. Op zich te beheren. Maar combineer dat met een trage TTFB en je hebt zo 2 seconden totale vertraging.

Voor Nederlandse bedrijven adviseer ik Amsterdam of Frankfurt als serverlocatie. Goede latency voor lokale bezoekers, acceptabele latency voor Amerikaanse crawlers. Een CDN met edge-locaties in de VS is een efficiënte aanvulling.

Uptime: er zijn als het ertoe doet

Een AI-crawler die je site bezoekt tijdens downtime registreert een timeout. Afhankelijk van de crawler kan dat leiden tot een verlaagd crawl-budget of een langere wachttijd tot de volgende crawl. Streef naar 99,9% uptime en monitor dit actief. UptimeRobot of Better Uptime zijn prima tools daarvoor.

Wat ik na tientallen migraties adviseer

Dit is geen affiliate-lijst. Dit is wat we bij Kobalt daadwerkelijk gebruiken en aanbevelen, gebaseerd op tientallen hostingmigraties.

1. Kleine sites (tot 10.000 bezoekers/maand): goede managed hosting of een gedeelde VPS. Check wel je TTFB na aanvang.
2. Middelgroot (10.000-100.000 bezoekers): dedicated VPS of cloud (Hetzner, DigitalOcean, AWS Lightsail) met een CDN ervoor.
3. Groot (100.000+): auto-scaling cloud met load balancing en robuuste CDN-configuratie.
4. Alle niveaus: stel een Crawl-delay in voor AI-bots in je robots.txt. Beschermt je server zonder crawlers te blokkeren.
5. Alle niveaus: monitor je TTFB en uptime wekelijks. Niet alleen als er klachten zijn.

Ik vergelijk het wel eens met een vogelhuisje. Je kunt het mooiste huisje bouwen, maar als je het op een plek zet waar de wind er vrij spel heeft en de kat erbij kan, komen er geen vogels. Locatie en fundament bepalen alles.

Veelgestelde vragen

Je hosting is niet een post op je factuur. Het is de basis van je online aanwezigheid. Bezuinigen op hosting is bezuinigen op je bereikbaarheid, voor iedereen die je wil vinden. Mens of machine.