← Todas las guíasBase de conocimiento GEO

robots.txt para búsqueda, entrenamiento y acceso por IA

Distingue cada user-agent y mantiene bloqueadas las áreas privadas.

Autor: Por Equipe MencionAI
Publicado: Publicado el 5 de junio de 2026
Revisado: Revisado el 9 de septiembre de 2026

Separa cada finalidad

Googlebot controla la participación en la Búsqueda, incluidos AI Overviews y AI Mode. Google-Extended cubre algunos usos generativos fuera de la Búsqueda. OAI-SearchBot y Claude-SearchBot sirven a la búsqueda; GPTBot y ClaudeBot al entrenamiento; ChatGPT-User y Claude-User a visitas iniciadas por usuarios.

Público vs privado

Bloquea admin, dashboard y APIs.

User-agent: Googlebot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: Google-Extended
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: ChatGPT-User
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: GPTBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: Claude-SearchBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: Claude-User
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: ClaudeBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: *
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

Sitemap: https://ejemplo.com/sitemap.xml

Valida la política publicada

robots.txt controla el rastreo, no la autorización de contenido privado. Prueba cada user-agent y mantén autenticación en el servidor. llms.txt no sustituye sitemaps, enlaces internos ni controles de acceso.