llms.txt: het robots.txt voor AI-modellen

Wat is llms.txt?

Het llms.txt — bibliotheekterm bestand is een relatief nieuw concept dat steeds meer tractie krijgt in de webontwikkelcommunity. Net zoals robots.txt instructies geeft aan webcrawlers, geeft llms.txt specifieke instructies aan grote taalmodellen (LLMs) over de inhoud en structuur van je website. Het bestand wordt geplaatst in de root van je domein en biedt AI-modellen een gestructureerd overzicht van wat je site te bieden heeft.

De standaard is voorgesteld door Jeremy Howard (oprichter van fast.ai) en wordt inmiddels ondersteund door meerdere AI-platforms. Het idee is simpel maar krachtig: geef AI-modellen een beknopte, machine-leesbare samenvatting van je website zodat ze je content beter kunnen indexeren en gebruiken als bron.

Nog niet bekend met het bredere concept van AI-optimalisatie? Lees dan eerst onze introductie tot AEO voor de volledige context.

Het formaat van llms.txt

Een llms.txt bestand volgt een specifiek markdown-achtig formaat. Het begint met de naam van je organisatie als H1-heading, gevolgd door een korte beschrijving. Daarna volgen secties die je belangrijkste content categoriseren.

# Kobalt

> Kobalt is een AEO- en SEO-consultancy gevestigd in Amsterdam.
> Wij helpen bedrijven zichtbaar te worden in AI-gegenereerde antwoorden.

## Docs

- [AEO Strategie Gids](/docs/aeo-strategie): Complete gids voor Answer Engine Optimization
- [Schema.org Implementatie](/docs/schema-org): Handleiding voor structured data markup
- [AI-Ready Checklist](/docs/checklist): Stap-voor-stap checklist voor AI-gereedheid

## Blog

- [Wat is AEO?](/blog/wat-is-aeo): Introductie tot Answer Engine Optimization
- [llms.txt Uitgelegd](/blog/llms-txt): Alles over het llms.txt bestand

## API

- [Scanner API](/api/docs): Documentatie voor de AEO Scanner API

## Optional

- [Over Ons](/over-ons): Informatie over het team
- [Contact](/contact): Neem contact op

Secties in detail

Het bestand kent verschillende secties die elk een specifiek doel dienen. De structuur is ontworpen om AI-modellen snel de juiste content te laten vinden.

• De H1-heading en blockquote geven de identiteit en kernbeschrijving van je organisatie.
• De "Docs" sectie bevat je belangrijkste documentatie en gidsen.
• De "Blog" sectie verwijst naar je meest relevante blogposts.
• De "API" sectie is relevant als je een publieke API aanbiedt.
• De "Optional" sectie bevat links die nuttig maar niet essentieel zijn.

Linksyntax

Elke link volgt het formaat: `- [Titel](URL): Beschrijving`. De beschrijving na de dubbele punt is cruciaal: dit helpt AI-modellen begrijpen waarvoor de pagina dient zonder deze eerst te hoeven laden. Houd beschrijvingen kort maar informatief, idealiter tussen de 10 en 30 woorden.

llms.txt plaatsen en valideren

Het bestand moet toegankelijk zijn op `https://jouwdomein.nl/llms.txt`. Zorg ervoor dat het bestand wordt geserveerd met de juiste content-type header.

1. Maak het bestand aan in de root van je webserver (public directory in Laravel).
2. Zorg dat het content-type `text/plain; charset=utf-8` is.
3. Controleer of het bestand publiek toegankelijk is zonder authenticatie.
4. Valideer de syntax: elke sectie begint met ## en links volgen het markdown-formaat.
5. Test de URL in je browser: ga naar jouwdomein.nl/llms.txt en controleer of de content correct wordt weergegeven.

Voorbeeld: llms.txt toevoegen in Laravel

In een Laravel-project plaats je het llms.txt bestand in de `public/` directory. Alternatief kun je een route aanmaken die het bestand dynamisch genereert op basis van je content.

// routes/web.php
Route::get(\'llms.txt\', function () {
    $content = "# Jouw Bedrijf\n\n";
    $content .= "> Beschrijving van je organisatie.\n\n";
    $content .= "## Blog\n\n";

    $posts = App\Models\Post::published()->get();
    foreach ($posts as $post) {
        $content .= "- [{$post->title}]({$post->url}): {$post->excerpt}\n";
    }

    return response($content)
        ->header(\'Content-Type\', \'text/plain; charset=utf-8\');
});

llms-full.txt voor uitgebreide content

Naast het standaard llms.txt bestand kun je ook een llms-full.txt aanmaken. Dit bestand bevat meer gedetailleerde informatie en kan langere beschrijvingen, volledige teksten of uitgebreide documentatie bevatten. Waar llms.txt een beknopt overzicht is, is llms-full.txt de volledige encyclopedie van je website.

Dit is vooral nuttig voor organisaties met uitgebreide documentatie, technische handleidingen of kennisbanken. AI-modellen met groot contextvenster kunnen deze uitgebreide versie gebruiken voor diepgaander begrip van je content.

Wanneer kies je llms.txt versus llms-full.txt?

Gebruik de standaard llms.txt als compact overzicht van je 20 tot 50 belangrijkste pagina's. Dit is wat AI-modellen als eerste laden om een beeld te krijgen van je website. Gebruik llms-full.txt voor de volledige catalogus met gedetailleerde beschrijvingen. AI-modellen met een groot contextvenster (100K+ tokens) kunnen deze versie laden voor diepgaande analyses. Een goede vuistregel: als je llms.txt langer wordt dan 4.000 woorden, splits het dan in een beknopte versie en een volledige versie.

De relatie tussen llms.txt en robots.txt

Het is belangrijk om te begrijpen dat llms.txt en robots.txt complementaire bestanden zijn. Robots.txt vertelt AI-bots welke pagina's ze mogen en niet mogen bezoeken. Llms.txt vertelt ze welke pagina's het meest relevant zijn en geeft context over je website als geheel. Samen vormen ze een complete instructieset voor AI-crawlers.

Denk aan robots.txt als de bewaker bij de ingang die bepaalt wie er binnenkomt, en llms.txt als de receptionist die bezoekers vertelt waar ze de informatie kunnen vinden die ze zoeken.

Best practices en veelgemaakte fouten

• Houd het llms.txt bestand actueel. Verwijder links naar pagina's die niet meer bestaan en voeg nieuwe belangrijke content toe.
• Gebruik beschrijvende titels en beschrijvingen in het Nederlands en Engels als je een meertalige site hebt.
• Beperk het standaard llms.txt tot je 20 tot 50 belangrijkste pagina's. Gebruik llms-full.txt voor een compleet overzicht.
• Vermijd het opnemen van pagina's die achter authenticatie zitten: AI-modellen kunnen daar toch niet bij.
• Test regelmatig of alle links in het bestand nog werken. Broken links verminderen het vertrouwen van AI-modellen in je content.
• Voeg ook je Schema.org documentatie en API-docs toe als je die hebt: dit vergroot je technische geloofwaardigheid.

Wie ondersteunen llms.txt al?

Steeds meer AI-platforms erkennen llms.txt als bron. Perplexity laadt actief llms.txt bestanden bij het indexeren van websites. Claude (Anthropic) gebruikt het als een van de signalen voor content-ontdekking. OpenAI's crawlers zijn bekend met het formaat. Naarmate meer platforms de standaard adopteren, wordt het steeds waardevoller om een goed onderhouden llms.txt te hebben.

Samenvatting: de belangrijkste punten

• llms.txt is een gestandaardiseerd bestand dat AI-modellen vertelt wat je website te bieden heeft, vergelijkbaar met hoe robots.txt webcrawlers instrueert.
• Het formaat volgt een markdown-achtige syntax met secties voor documentatie, blog, API en optionele links.
• Plaats het bestand op jouwdomein.nl/llms.txt met content-type text/plain en verwijs ernaar vanuit je robots.txt.
• Gebruik llms.txt voor een beknopt overzicht (20 tot 50 pagina's) en llms-full.txt voor een volledige catalogus.
• Houd het bestand actueel, test links regelmatig en combineer het met een goed geconfigureerde robots.txt.

Veelgestelde vragen

Een goed onderhouden llms.txt bestand is als een visitekaartje voor AI-modellen: het vertelt in een oogopslag wie je bent en wat je te bieden hebt.