In dit artikel lees je hoe je met RankMath eenvoudig je robots.txt bestand aanpast zodat je website goed geïndexeerd wordt door zoekmachines én leesbaar is voor AI zoals ChatGPT. Steeds meer ondernemers vragen zich af: Waarom verschijnt mijn site niet in AI-antwoorden? of Hoe maak ik mijn website vindbaar voor AI? In deze blog leg ik het je stap voor stap uit.
👉 Bonus tip: in Website in een Weekend krijg je toegang tot een extra masterclass van de SEO School waarin je leert hoe je slimme SEO toepast, zelfs als je geen expert bent.
Waarom is je robots.txt zo belangrijk?
Je robots.txt bestand vertelt zoekmachines (zoals Google) en AI-bots (zoals GPTBot van OpenAI) welke delen van je site ze wél en niet mogen lezen. Als je per ongeluk AI-bots of zoekmachines blokkeert, wordt je content niet opgenomen in zoekresultaten of AI-antwoorden.
Veel ondernemers komen hier pas laat achter en vinden niets als ze gaan zoeken naar termen als:
-
- AI kan mijn website niet lezen
-
- Waarom verschijnt mijn site niet in ChatGPT?
-
- Hoe maak ik mijn website leesbaar voor AI
Gelukkig kun je dit makkelijk oplossen met RankMath.
Wat is RankMath?
RankMath is een populaire SEO-plugin voor WordPress waarmee je eenvoudig zoekmachineoptimalisatie kunt toepassen zonder technische kennis. De plugin helpt je niet alleen bij het optimaliseren van titels, meta-beschrijvingen en sitemaps, maar geeft je ook toegang tot geavanceerde functies zoals het bewerken van je robots.txt en het instellen van extra informatie (zogenaamde ‘structured data’) waarmee zoekmachines beter begrijpen waar je pagina over gaat.
Structured data is een soort ‘samenvatting’ in code die je toevoegt aan je pagina, zodat Google en AI-systemen sneller kunnen herkennen wat belangrijk is. Het is daarmee een ideale tool voor ondernemers die zelf controle willen houden over hun online vindbaarheid.
Stap-voor-stap: je robots.txt aanpassen met RankMath
- Log in op je WordPress website
Ga naar je dashboard. - Zorg dat RankMath is geïnstalleerd en geactiveerd
RankMath is een SEO-plugin die ook toegang geeft tot geavanceerde instellingen, zoals robots.txt. - Navigeer naar RankMath > General Settings > Edit robots.txt
Je ziet nu het huidige bestand met instructies voor bots. - Plak de volgende code in je robots.txt
Let op: hieronder zie je de volledige code die je kunt overnemen. Wil je eerst begrijpen wat elk onderdeel precies doet? Scroll dan eerst naar het kopje ‘Wat doet deze code precies?’ voordat je hem toepast.
Deze code zorgt ervoor dat alle grote zoekmachines en AI-systemen jouw website kunnen lezen, terwijl je alle onbekende of irrelevante bots buitensluit:
# Allow major search engines
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: Slurp
Allow: /
User-agent: DuckDuckBot
Allow: /
User-agent: facebookexternalhit
Allow: /
# Allow AI assistants
User-agent: GPTBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: CCBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OpenAI
Allow: /
User-agent: Anthropic
Allow: /
# Block everything else
User-agent: *
Disallow: /
5. Klik op Save Changes
Je wijzigingen worden direct actief en zijn te bekijken via jouwwebsite.nl/robots.txt.
Wat doet deze code precies?
Deze robots.txt code bestaat uit verschillende onderdelen die elk een specifiek doel hebben. Hieronder leg ik per onderdeel uit wat het doet, zodat je precies weet wat je aan het instellen bent:
Zoekmachines toegang geven
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: Slurp
Allow: /
User-agent: DuckDuckBot
Allow: /
User-agent: facebookexternalhit
Allow: /
Met deze regels geef je de belangrijkste zoekmachines toegang tot je volledige website. Zo kunnen Google, Bing, Yahoo (Slurp), DuckDuckGo en Facebook je content indexeren en tonen in zoekresultaten of previews.
AI-assistenten toegang geven
User-agent: GPTBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: CCBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OpenAI
Allow: /
User-agent: Anthropic
Allow: /
Deze regels zorgen ervoor dat jouw content gebruikt kan worden door AI-modellen zoals ChatGPT (OpenAI), Claude (Anthropic) en andere grote AI-partijen. Hiermee vergroot je de kans dat jouw kennis, producten of blogs worden meegenomen in AI-antwoorden.
Alles wat niet genoemd is blokkeren
User-agent: *
Disallow: /
Dit is de ‘vangnet’-regel. Alles wat je niet expliciet hebt toegestaan, wordt hiermee automatisch geblokkeerd. Zo voorkom je dat onbekende of ongewenste bots (zoals spammers of concurrentieanalyse-tools) jouw site kunnen uitlezen.
Door deze regels bewust te kiezen, houd je controle over wie je website mag bekijken en gebruiken.
Wil je deze basiscode uitbreiden? Dat kan handig zijn als je bijvoorbeeld:
- je SEO-resultaten meet met tools zoals Ahrefs of Semrush,
- een sitemap wilt meegeven zodat bots je hele site sneller kunnen indexeren,
- of specifieke bots wél of juist niet toegang wilt geven tot bepaalde delen van je site.
Waar voeg je dit toe?
Plaats deze extra regels direct ónder de andere toegestane bots, maar nog vóór de ‘User-agent: *’ blokkade. Dus ergens net boven:
User-agent: *
Disallow: /
Hier is een voorbeeld:
Sitemap: https://www.jouwwebsite.nl/sitemap_index.xml
User-agent: AhrefsBot
Allow: /
User-agent: SemrushBot
Allow: /
Hier is een voorbeeld:
Zo geef je ook je sitemap door én geef je tools zoals Ahrefs en Semrush toegang om je SEO-prestaties te analyseren.
Hoe vind je de URL van je sitemap?
Als je RankMath gebruikt, wordt je sitemap automatisch aangemaakt. Je vindt hem meestal op:
https://www.jouwwebsite.nl/sitemap_index.xml
Vervang jouwwebsite.nl door je eigen domeinnaam. Twijfel je of de URL klopt? Ga dan in je WordPress dashboard naar RankMath > Sitemap Settings en klik op de link bovenin. Die kun je direct kopiëren en gebruiken in je robots.txt.
Meer weten over slimme SEO?
In Website in een Weekend krijg je niet alleen hulp bij het bouwen van je website, maar ook toegang tot een exclusieve bonus masterclass van de SEO School. Daar leer je op een duidelijke en praktische manier hoe je jouw zichtbaarheid in Google en AI-resultaten vergroot .
👉 Wil jij ook bouwen aan een website die wél gevonden wordt? Bekijk hier Website in een Weekend
