Como fazer uma auditoria de visibilidade em IA, passo a passo

Use perguntas que descrevem uma necessidade ou categoria, do jeito que um cliente perguntaria, sem citar nenhuma marca. Algo como "quais ferramentas existem para X" ou "qual a melhor opção de Y". Um prompt que já cita uma marca específica gera uma resposta focada só naquela marca, e não serve pra mapear o cenário completo.

ChatGPT, Gemini, Claude e Perplexity não respondem sempre igual pro mesmo prompt, e cada um decide de um jeito diferente quando buscar informação atualizada na web em vez de responder só com o que aprendeu no treinamento. Testar um modelo só mostra uma fração do cenário. Vale repetir o mesmo prompt mais de uma vez também: um estudo da SparkToro em parceria com a Gumshoe.ai, com 2.961 execuções de prompts em ChatGPT, Claude e na IA do Google, encontrou menos de 1 chance em 100 de duas execuções do mesmo prompt trazerem exatamente a mesma lista de marcas (SparkToro). Uma execução isolada não mostra o padrão real.

Antes de qualquer ajuste de conteúdo, confira se os robôs de IA conseguem acessar o seu site. Abra "seudominio.com.br/robots.txt" no navegador e procure uma linha "User-agent" com o nome de um crawler de IA (GPTBot, ClaudeBot, PerplexityBot) logo acima de "Disallow: /". Se aparecer isso, esse robô está proibido de ler o site inteiro, sem nenhum aviso visível em lugar nenhum. Vale também checar se existe dado estruturado do tipo Organization no site: ele declara explicitamente o que a empresa é, e ajuda mecanismos compatíveis a reconhecer a marca como entidade específica, o que importa principalmente para nomes genéricos ou parecidos com outra empresa (Google Search Central).

Pra cada prompt onde a marca não apareceu, ou apareceu sem ser citada como fonte, olhe o que já está publicado sobre aquele tema. O conteúdo responde a pergunta de forma direta, com dado concreto, de um jeito que uma IA conseguiria usar como referência, ou fica em texto genérico de venda, sem nada específico pra citar? Essa diferença costuma pesar mais do que a simples existência do conteúdo.

Rode os mesmos prompts pros dois lados, na mesma rodada. Prompt diferente ou rodada diferente não é comparação justa, porque a diferença que aparecer pode vir só da variação natural entre execuções, não de uma diferença real entre as marcas. Olhe frequência (em quantas execuções cada marca aparece), posição (a ordem, quando a resposta lista opções), e se as fontes citadas pros dois lados são os mesmos domínios ou não.

Uma rodada isolada é só uma fotografia. Repetir o mesmo conjunto de prompts periodicamente mostra se a presença da marca está melhorando, piorando ou parada, e isso é o que indica se vale a pena investigar antes de reagir a um resultado isolado.

Esses 6 passos descrevem o processo manual. Na MencionAI, ele acontece de forma automatizada e contínua: a plataforma executa os prompts cadastrados em conversas novas, de forma recorrente, em vários modelos ao mesmo tempo, e registra menção, posição, concorrentes presentes e fontes citadas em cada execução.

Pra resumir tudo isso num número só, calculamos o ARS (AI Recommendation Score), que cruza frequência de menção, posição na resposta, qualidade da citação e cobertura entre os modelos testados, de 0 a 100. Os gaps encontrados alimentam o Plano de Ação, com uma ação específica pra cada lacuna, não só um diagnóstico geral.

Se quiser rodar essa auditoria com a sua marca, agende uma demo.

Pedro, CMO da MencionAI