← Tous les guidesBase de connaissances GEO

robots.txt pour crawlers IA

Découverte sans exposer les zones privées.

User-agents

GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot, Bingbot.

Public vs privé

Bloquez admin, dashboard et APIs.

User-agent: GPTBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: ClaudeBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: PerplexityBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: *
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

Sitemap: https://exemple.com/sitemap.xml

Avec llms.txt

robots.txt pour le fetch ; llms.txt pour les URLs prioritaires.