Eén verkeerde regel in dit bestand haalt je hele site uit Google.
robots.txt is een tekstbestand in de hoofdmap van je website dat zoekmachines vertelt welke delen ze wel en niet mogen bezoeken. Het is een instructie die serieuze crawlers respecteren, geen beveiliging. Een verkeerde regel kan je volledige site uit de zoekresultaten houden.
IN GEWONE TAAL
Wat het wel en niet doet
Het regelt toegang tot het crawlen, niet tot het bekijken. Iedereen kan het bestand lezen, dus zet er nooit paden in die je geheim wilt houden — je publiceert dan juist waar ze staan.
Het is ook geen manier om pagina's uit de index te houden. Daarvoor gebruik je een noindex-instructie; een geblokkeerde pagina kan alsnog in de resultaten verschijnen zonder omschrijving.
WAAROM HET UITMAAKT
Waar het misgaat
De klassieke fout is een blokkade die op de testomgeving hoorde en na livegang blijft staan. Je site verdwijnt dan geleidelijk uit Google zonder dat er een foutmelding komt.
Controleer daarom na elke livegang of robots.txt toestaat wat het moet toestaan. Het duurt tien seconden.
- Controleer na livegang — de duurste vergeten instelling.
- Geen geheime paden vermelden — het bestand is openbaar.
- Niet gebruiken om te de-indexeren — daarvoor is noindex.
- Verwijs naar je sitemap — zodat crawlers hem vinden.
- Blokkeer geen CSS of scripts — dan kan Google je pagina niet beoordelen.
VEELGESTELDE VRAGEN
Meer over robots.txt
Hoe controleer ik mijn robots.txt?
Type je domein gevolgd door /robots.txt in je browser. Staat er 'Disallow: /' onder 'User-agent: *', dan blokkeer je je hele site en is dat vrijwel zeker een fout.
Moet ik AI-crawlers blokkeren?
Dat is een keuze. Blokkeren beschermt je teksten tegen hergebruik en sluit je uit van vermelding in AI-antwoorden. Wij laten ze bewust toe omdat genoemd worden ons meer oplevert.
Heb ik dit bestand nodig?
Niet strikt, maar het is verstandig — al is het alleen om naar je sitemap te verwijzen. Zonder bestand mag alles gecrawld worden, en dat is meestal precies de bedoeling.
VERDER LEZEN
Meer over dit onderwerp
Natuurlijk doorlezen over dit onderwerp.
Technisch in orde?
Wij controleren robots.txt, sitemap en indexatie en sturen je wat we vinden.