Met robots.txt kun je bijvoorbeeld het beheergedeelte van je site afschermen voor crawlers. Een verkeerde instelling kan per ongeluk je hele site voor Google blokkeren, dus wees er voorzichtig mee.
Wat betekent dit in de praktijk?
Robots.txt is een eenvoudig tekstbestand in de hoofdmap van je website (jouwsite.nl/robots.txt). Het vertelt crawlers van zoekmachines en AI-diensten welke delen van je site ze mogen bezoeken en welke ze moeten overslaan. Meestal staat ook het adres van je sitemap erin.
Waarom is dit belangrijk voor je bedrijf?
Een goed ingestelde robots.txt leidt crawlers naar je belangrijke inhoud en schermt bijvoorbeeld je beheeromgeving af. Maar één verkeerde regel ('Disallow: /') kan je hele website onzichtbaar maken in Google.
Voorbeelden en goede praktijken
- Blokkeer alleen technische delen, zoals /wp-admin/.
- Zet het adres van je XML-sitemap erin.
- Blokkeer geen CSS- en JavaScript-bestanden die nodig zijn om de pagina te tonen.
- Kies bewust of je AI-crawlers toegang geeft.
Zo doen wij het bij Ikoon
Een goed ingestelde robots.txt, met sitemap en toegang voor zoekmachines en AI-crawlers, hoort bij de SEO- en AI-proof basis van elke Ikoon-website. Testversies houden we buiten Google, zodat alleen je echte site wordt gevonden.