← Todos os guiasBase de conhecimento GEO

robots.txt para busca, treinamento e acesso por IA

Diferencie os user-agents de cada plataforma e mantenha áreas privadas bloqueadas.

Autor: Por Equipe MencionAI
Publicado: Publicado em 5 de junho de 2026
Revisado: Revisado em 9 de setembro de 2026

Separe cada finalidade

Googlebot controla a participação na Busca, inclusive AI Overviews e AI Mode. Google-Extended trata de alguns usos generativos fora da Busca. OAI-SearchBot e Claude-SearchBot atendem à busca; GPTBot e ClaudeBot ao treinamento; ChatGPT-User e Claude-User a acessos iniciados pelo usuário. As regras são independentes.

Público vs privado

Bloqueie /admin, /dashboard, checkout e APIs. Mantenha marketing, blog, FAQ e legal crawláveis.

User-agent: Googlebot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: Google-Extended
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: ChatGPT-User
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: GPTBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: Claude-SearchBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: Claude-User
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: ClaudeBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: *
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

Sitemap: https://exemplo.com/sitemap.xml

Valide a política publicada

robots.txt controla rastreamento, não autorização de conteúdo privado. Teste cada user-agent e mantenha autenticação no servidor. llms.txt pode descrever URLs públicas, mas não substitui sitemap, links internos ou controles de acesso.