Traditionele SEO is gebouwd rondom Googlebot. GEO vereist het begrijpen van een nieuwe generatie crawlers: GPTBot (OpenAI), PerplexityBot, Google-Extended (Googles AI-training en Gemini-crawler) en een groeiende lijst van platform-specifieke crawlers. Elk heeft ander crawlgedrag, andere contentvoorkeuren en andere robots.txt-richtlijnen.
GPTBot: OpenAI's webcrawler
GPTBot crawlt het web om trainingsdata te verzamelen en ChatGPT's real-time webretrieval te ondersteunen. Het respecteert robots.txt-richtlijnen en kan onafhankelijk van Googlebot worden toegestaan of verboden. Controleer of GPTBot is toegestaan op jouw site: zoek naar 'User-agent: GPTBot' in jouw robots.txt. Als je een brede 'Disallow: /'-richtlijn hebt die onbedoeld alle niet-Googlebot crawlers blokkeert, heeft jouw content niet de mogelijkheid geciteerd te worden in ChatGPT.
PerplexityBot: bijna realtime webindexering
- PerplexityBot crawlt frequenter dan de meeste AI-crawlers: zijn bijna realtime indexering vereist verse crawlcycli
- Het prioriteert gestructureerde content: pagina's met duidelijke HTML-structuur, geldige schema-markup en expliciete navigatiehiearchieën worden grondiger gecrawld
- PerplexityBot identificeert zichzelf als 'PerplexityBot' in HTTP-verzoekheaders. Controleer jouw serverlogs om te bevestigen dat het jouw site bezoekt
Google-Extended: trainingsdata versus zoekopdrachten
Google-Extended is de crawler voor Googles AI-training en Gemini-dataverzameling, apart van Googlebot. Googlebot toestaan maar Google-Extended verbieden betekent dat jouw content in traditionele zoekopdrachten verschijnt maar niet bijdraagt aan Googles AI-trainingsdata, wat jouw citatiesnelheid in Gemini en Google AI Overviews over tijd kan verminderen.
Voor de meeste merken is de aanbevolen configuratie het toestaan van alle vier de grote AI-crawlers: GPTBot, PerplexityBot, Google-Extended en ClaudeBot. De enige uitzondering is voor eigen content waarbij AI-training op jouw materiaal een echte bedrijfsrisico creëert.
Weten hoe vaak AI jouw merk noemt?
Geoguide meet hoe vaak ChatGPT, Perplexity en Google jouw merk noemen, en vertelt je wat je kunt doen om vaker genoemd te worden.