Traditionele SEO is gebouwd rondom Googlebot. GEO vereist het begrijpen van een nieuwe generatie crawlers: GPTBot (OpenAI), PerplexityBot, Google-Extended (Googles AI-training en Gemini-crawler) en een groeiende lijst van platform-specifieke crawlers. Elk heeft ander crawlgedrag, andere contentvoorkeuren en andere robots.txt-richtlijnen.
GPTBot: OpenAI's webcrawler
GPTBot crawlt het web om trainingsdata te verzamelen en ChatGPT's real-time webretrieval te ondersteunen. Het respecteert robots.txt-richtlijnen en kan onafhankelijk van Googlebot worden toegestaan of verboden. Controleer of GPTBot is toegestaan op jouw site: zoek naar 'User-agent: GPTBot' in jouw robots.txt. Als je een brede 'Disallow: /'-richtlijn hebt die onbedoeld alle niet-Googlebot crawlers blokkeert, heeft jouw content niet de mogelijkheid geciteerd te worden in ChatGPT.
PerplexityBot: bijna realtime webindexering
- PerplexityBot crawlt frequenter dan de meeste AI-crawlers — zijn bijna realtime indexering vereist verse crawlcycli
- Het prioriteert gestructureerde content: pagina's met duidelijke HTML-structuur, geldige schema-markup en expliciete navigatiehiearchieën worden grondiger gecrawld
- PerplexityBot identificeert zichzelf als 'PerplexityBot' in HTTP-verzoekheaders. Controleer jouw serverlogs om te bevestigen dat het jouw site bezoekt
Google-Extended: trainingsdata versus zoekopdrachten
Google-Extended is de crawler voor Googles AI-training en Gemini-dataverzameling — apart van Googlebot. Googlebot toestaan maar Google-Extended verbieden betekent dat jouw content in traditionele zoekopdrachten verschijnt maar niet bijdraagt aan Googles AI-trainingsdata — wat jouw citatiesnelheid in Gemini en Google AI Overviews over tijd kan verminderen.
Voor de meeste merken is de aanbevolen configuratie het toestaan van alle vier de grote AI-crawlers: GPTBot, PerplexityBot, Google-Extended en ClaudeBot. De enige uitzondering is voor eigen content waarbij AI-training op jouw materiaal een echte bedrijfsrisico creëert.
Klaar om je concurrenten te volgen?
Geoguide monitort automatisch websites, e-mails en social media van je concurrenten — en levert gestructureerde intelligence rechtstreeks in je inbox.