Als website-eigenaar bepaal je zelf of je deze bots toegang geeft. Wil je zichtbaar zijn in AI-antwoorden, dan is het meestal verstandig om ze toe te laten.
Wat betekent dit in de praktijk?
AI-crawlers zijn automatische programma's van bedrijven die AI-modellen en AI-zoekmachines bouwen. Ze bezoeken websites. Bekende voorbeelden zijn GPTBot en OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), Google-Extended en PerplexityBot. Sommige verzamelen gegevens om modellen te trainen, andere halen content op voor actuele antwoorden.
Waarom is dit belangrijk voor je bedrijf?
Blokkeer je deze crawlers in je robots.txt, dan verschijnt je website mogelijk niet in AI-antwoorden. Voor lokale bedrijven die aanbevolen willen worden door ChatGPT of Perplexity loont het meestal om ze toe te laten.
Voorbeelden en goede praktijken
- Controleer of je robots.txt AI-crawlers blokkeert.
- Maak onderscheid tussen crawlers voor training en crawlers voor zoeken, want je kunt per soort beslissen.
- Houd je website snel, zodat crawlers je pagina's makkelijk kunnen ophalen.
- Publiceer content waarvan je wilt dat AI die aanhaalt.
Zo doen wij het bij Ikoon
Bij Ikoon is een AI-proof structuur standaard. AI-zoekcrawlers hebben toegang tot je content, zodat je bedrijf kan verschijnen in antwoorden van ChatGPT, Perplexity en Google AI. De snelle hosting van Ikoon zorgt er bovendien voor dat crawlers je pagina's vlot kunnen ophalen.