← Todos os guiasBase de conhecimento GEO

robots.txt para crawlers de IA

Permita descoberta sem expor áreas privadas do app.

User-agents de IA

Referencie GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot, Bingbot. Use Disallow só em caminhos sensíveis.

Público vs privado

Bloqueie /admin, /dashboard, checkout e APIs. Mantenha marketing, blog, FAQ e legal crawláveis.

User-agent: GPTBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: ClaudeBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: PerplexityBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

User-agent: *
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /api/

Sitemap: https://exemplo.com/sitemap.xml

Combine com llms.txt

robots.txt controla permissão de fetch; llms.txt cura URLs prioritárias para resumos de IA.