Hoe komt je website in een antwoord van ChatGPT terecht?
ChatGPT zoekt vanzelf op internet als een vraag baat heeft bij actuele informatie, en zet er bronvermeldingen bij die je kunt openklappen. Dat staat in de uitleg van OpenAI over zoeken met ChatGPT. In datzelfde artikel staat ook hoe die resultaten tot stand komen: ChatGPT weegt meerdere factoren en garandeert geen plek. Je kunt dus niet kopen of afdwingen dat je genoemd wordt.
Wat je wel moet weten, is dat je vraag onderweg verandert. OpenAI legt uit dat ChatGPT een vraag herschrijft naar een of meer gerichtere zoekopdrachten en die naar zoekpartners stuurt, waarbij Microsoft en Shopify met name genoemd worden. Vraagt iemand om een loodgieter in de buurt, dan wordt daar eerst een zoekopdracht met een plaatsnaam van gemaakt, afgeleid uit het IP-adres. Je concurreert dus niet om één zoekwoord, maar om een handvol herschreven varianten die je nooit te zien krijgt.
Dat verklaart meteen waarom de basis zo zwaar weegt. Staat je plaatsnaam nergens in je tekst, dan val je af bij de herschreven lokale zoekopdracht. Wat daarvoor nodig is, staat uitgewerkt in hoger in Google komen; dat werk doet hier gewoon zijn tweede ronde.
Welke AI-crawlers moet je toelaten?
Elk AI-bedrijf gebruikt meerdere bots met verschillende taken, en ze staan los van elkaar. Dat is handig, want je kunt nee zeggen tegen training en ja tegen zoeken. Het is ook de plek waar het vaakst misgaat: wie ooit in één klap alle AI-bots heeft geblokkeerd, heeft daarmee ook de zoekbots buitengesloten.
| Bot | Waarvoor | Wat je verliest als je hem blokkeert |
|---|---|---|
| OAI-SearchBot | Zoekresultaten in ChatGPT | Je site wordt niet getoond in de zoekantwoorden van ChatGPT, hooguit nog als navigatielink |
| GPTBot | Training van de modellen van OpenAI | Niets aan je vindbaarheid, deze instelling staat los van zoeken |
| ChatGPT-User | Een pagina ophalen omdat een gebruiker daarom vraagt | OpenAI zegt dat robots.txt-regels hier mogelijk niet gelden, en dat deze bot niets bepaalt over zoeken |
| PerplexityBot | Zoekresultaten in Perplexity | Je verschijnt niet in de antwoorden van Perplexity |
| Perplexity-User | Bezoek op verzoek van een gebruiker | Negeert robots.txt doorgaans, omdat een mens de opdracht gaf |
| Claude-SearchBot | De zoekindex van Claude | Minder zichtbaar en minder nauwkeurig weergegeven in zoekantwoorden |
| Claude-User | Een pagina ophalen bij een vraag van een gebruiker | Claude kan je pagina niet ophalen als antwoord op een vraag |
| ClaudeBot | Training van de modellen van Anthropic | Niets aan je vindbaarheid |
| Googlebot | Google Zoeken, inclusief AI Overviews en AI Mode | Je valt uit Google, en daarmee ook uit de AI-antwoorden daarbinnen |
| Google-Extended | Training en grounding in de Gemini-apps | Geen effect op Google Zoeken, en het telt niet mee als rankingfactor |
| Bingbot | Bing en Copilot | Bing noemt het blokkeren van Bingbot bij de dingen die je moet vermijden |
De namen komen uit de documentatie van de leveranciers zelf: de crawlers van OpenAI, de bots van Anthropic, de crawlers van Perplexity en de lijst met Google-crawlers. Pas je je robots.txt aan, reken dan op ongeveer een dag voordat het doorwerkt. OpenAI noemt zelf zo'n 24 uur voordat de zoeksystemen de wijziging oppikken.
Training en zoeken zijn twee knoppen
Wil je niet dat je teksten in een model terechtkomen, maar wel dat klanten je vinden? Blokkeer dan GPTBot of ClaudeBot en laat OAI-SearchBot en Claude-SearchBot binnen. OpenAI merkt daarbij op dat als je beide toelaat, één crawlbeurt voor allebei gebruikt kan worden, zodat je server niet dubbel wordt belast.
Waarom komt een bot niet binnen terwijl je robots.txt klopt?
Omdat robots.txt een verzoek is en je firewall een deur. OpenAI zegt het in twee stappen: laat OAI-SearchBot toe én controleer dat je hostingpartij of CDN verkeer doorlaat vanaf de gepubliceerde IP-adressen van de searchbot. Perplexity gaat nog verder en legt per stap uit hoe je in Cloudflare of AWS een regel maakt die hun bots doorlaat. Google noemt in de uitleg over AI-functies en je website precies hetzelfde punt: zorg dat crawlen is toegestaan in robots.txt, en ook door je CDN of hosting.
Dat drie partijen onafhankelijk van elkaar diezelfde waarschuwing opschrijven, zegt genoeg over hoe vaak het fout gaat. Bij een mkb-site zit de blokkade zelden in de code en bijna altijd in een schakelaar die iemand ooit heeft aangezet. Loop deze punten langs met wie je hosting beheert:
- Staat er bot- of scraperbescherming aan bij je host of CDN, en welke bots vallen daaronder
- Komen de IP-lijsten van OpenAI, Perplexity en Anthropic door de firewall heen
- Wordt verkeer uit het buitenland geweerd, want deze bots komen zelden uit Nederland
- Zit er een snelheidslimiet op die een bot na een paar pagina's afknijpt
- Staat belangrijke tekst pas na het uitvoeren van JavaScript in de pagina
- Zit er een cookiemuur of inlogscherm voor inhoud die gewoon openbaar mag zijn
Dat laatste over JavaScript speelt breder dan je denkt. Bing schrijft in de richtlijnen voor webmasters dat inhoud die niet betrouwbaar gerenderd kan worden, niet geïndexeerd of geselecteerd hoeft te worden. Een webshop waarvan de productomschrijving pas na drie seconden verschijnt, levert dus een lege pagina op voor wie hem beoordeelt.
Welke meta-instelling houdt je uit AI-antwoorden?
Hier zit het stukje dat vrijwel nergens in Nederlandse artikelen staat, terwijl Bing het gewoon opschrijft. Oude robots-instellingen die ooit zijn gezet om te voorkomen dat iemand je teksten overnam, kosten je nu citaten.
| Instelling | Wat de documentatie erover zegt |
|---|---|
| noindex | Google: de pagina komt niet in Zoeken, en alleen pagina's die in Zoeken mogen verschijnen komen in AI Overviews of AI Mode. Bing: niet in Bing, niet in Copilot, niet in grounding-resultaten |
| nosnippet en data-nosnippet | Google noemt ze om te beperken wat er uit je pagina getoond wordt. Bing: geen bijschriften, en het kan de kwaliteit van Copilot-citaten beperken |
| max-snippet | Google: begrenst hoeveel tekst er uit je pagina getoond mag worden |
| noarchive | Bing: je inhoud wordt niet gebruikt in antwoorden van Copilot en in grounding-resultaten |
| nocache | Bing: Copilot mag alleen de URL, de titel en het snippet gebruiken, wat de diepte van een citaat beperkt |
Zoek dus in de broncode van een paar belangrijke pagina's naar een meta-tag met de naam robots. Staat daar noarchive of nocache, dan weet je waarom je nergens opduikt in Copilot. In WordPress zit dit meestal in de geavanceerde instellingen van je SEO-plug-in, per pagina of als sitebrede standaard.
Bing noemt nog een derde knop: met het attribuut data-snippet stuur je welke tekst wel gebruikt mag worden. Handig als je een pagina hebt waarvan je alleen het bovenste deel wilt laten citeren.
Moet je een llms.txt-bestand maken?
llms.txt is een voorstel van Jeremy Howard uit 2024, inmiddels aan versie twee toe. Het is een markdownbestand op jouwsite.nl/llms.txt met een korte beschrijving en links naar schone markdownversies van je pagina's. Het idee is logisch: een AI-model krijgt dan de inhoud zonder menu, zonder opmaak en zonder ruis. Er zijn inmiddels duizenden sites die er een hebben, Yoast en Wix genereren hem automatisch, en Lighthouse in Chrome controleert erop bij de tests voor browsende agents.
En toch: geen van de zoekmachines vraagt erom. Google schrijft letterlijk dat er geen aanvullende technische eisen zijn om in AI Overviews of AI Mode te verschijnen, bovenop geïndexeerd zijn en een snippet mogen tonen. De instructie van OpenAI om opgenomen te worden gaat over OAI-SearchBot en IP-adressen, niet over een bestand. Laat je CMS er een maken als dat met één vinkje kan, maar verwacht er niets van zolang je firewall de zoekbots nog tegenhoudt.
Hoe schrijf je een pagina die geciteerd wordt?
Bing is op dit punt concreter dan Google en legt uit wat een pagina geschikt maakt om uit te citeren. Vertaald naar wat je maandagochtend kunt doen:
- Eén onderwerp per pagina. Een pagina die over prijzen, levertijden en garantie tegelijk gaat, wordt voor geen van de drie gekozen
- Het antwoord bovenaan. Bing zegt het ronduit: geen lange inleiding voordat je bij het onderwerp komt
- De pagina moet los te lezen zijn. Feiten en definities expliciet opschrijven, niet laten afhangen van wat elders op je site staat
- Noem namen steeds hetzelfde. Je bedrijfsnaam, je plaats en je productnamen in één vaste schrijfwijze, want daarmee koppelt een model jou aan de juiste entiteit
- Zet informatie in tekst, niet alleen in beeld. Een prijslijst in een afbeelding bestaat niet voor wie hem moet citeren. Alt-teksten, bijschriften en transcripten helpen, maar vervangen de tekst niet
- Houd het actueel. Verouderde informatie die blijft staan, wordt gewoon als feit overgenomen
Die vaste schrijfwijze van je naam en adres is minder saai dan hij klinkt. Staat je bedrijfsnaam op vijf plekken net anders, dan vallen de signalen uit elkaar. In wat moet er op een bedrijfswebsite staan staat welke gegevens er sowieso op je site horen; dezelfde lijst dient hier als basis.
Verborgen instructies voor AI: niet doen
Er circuleert advies om onzichtbare tekst op je pagina te zetten die het taalmodel vertelt wat het over jou moet zeggen. Bing rekent dat onder prompt injection en noemt als gevolg minder zichtbaarheid of verwijdering uit de index. Het staat in hetzelfde rijtje als cloaking en gekochte links.
Hoe weet je of het werkt?
Meten is het zwakke punt van dit hele verhaal, en daar moet je eerlijk over zijn. Voor Google is er nog iets: AI Overviews en AI Mode tellen mee in de prestaties in Search Console, onder zoektype Web. Een apart filter waarmee je ze eruit vist, is er niet.
Bing voegt daar een nuttige waarschuwing aan toe. Je inhoud kan verschijnen als vertoning, citaat of bron in een Copilot-antwoord zonder dat er iemand doorklikt, dus minder klikken betekent niet automatisch minder zichtbaarheid. Kijk daarom ook naar vertoningen en naar de vraag of je pagina's überhaupt geïndexeerd zijn.
Voor ChatGPT, Claude en Perplexity bestaat zo'n rapport niet. Wat je wel hebt, zijn je eigen logbestanden. Daar zie je of de bots langskomen, en dat is de enige harde aanwijzing die je zelf kunt controleren.
Lees je robots.txt
Ga naar jouwsite.nl/robots.txt en zoek de namen uit de tabel hierboven. Staat er een algemene regel die alles blokkeert, dan telt die ook voor de zoekbots.
Vraag je hosting naar de firewall
Of er bot- of AI-bescherming aanstaat, en of de gepubliceerde IP-lijsten van OpenAI, Perplexity en Anthropic worden doorgelaten.
Controleer de robots-metatag
Bekijk de broncode van je homepage en van twee belangrijke pagina's. Let op noindex, noarchive, nocache en nosnippet.
Zoek de bots in je logbestanden
Filter op OAI-SearchBot, PerplexityBot, Claude-SearchBot en Bingbot. Nul resultaten over een maand is een antwoord op zichzelf.
Stel de vraag die je klant stelt
Vraag in ChatGPT naar een dienst in jouw plaats en open de bronnenlijst. Je ziet welke sites er wel staan en wat die beter hebben gedaan.
Houd hierbij één verwarring uit elkaar. Gevonden worden ín ChatGPT is iets anders dan een AI-chatbot op je eigen website zetten. Het eerste gaat over bezoekers die je nog niet kennen, het tweede over bezoekers die al op je site staan.
Begin bij de twee dingen die buiten je teksten liggen: de regels in je robots.txt en de instellingen van je firewall. Die bepalen of je überhaupt meedoet. Pas als een zoekbot binnenkomt en je pagina's in de index staan, heeft het zin om je tekst korter, feitelijker en losser leesbaar te maken.
