← Todas las guíasBase de conocimiento GEO

robots.txt para crawlers de IA

Permite descubrimiento sin exponer áreas privadas.

User-agents

GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot, Bingbot.

Público vs privado

Bloquea admin, dashboard y APIs.

User-agent: GPTBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: ClaudeBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: PerplexityBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: *
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

Sitemap: https://ejemplo.com/sitemap.xml

Con llms.txt

robots.txt controla fetch; llms.txt cura URLs prioritarias.