Por que a IA recomenda uma marca e esquece outra

Pergunte pro ChatGPT qual a melhor ferramenta de uma categoria duas vezes seguidas. A lista de marcas pode mudar entre uma resposta e outra, mesmo sem nada ter mudado no mundo real entre as duas perguntas. Isso não é falha do sistema, é o resultado de como esses modelos decidem o que incluir numa resposta.

De onde vem a resposta

Toda resposta de um modelo de IA generativa combina, em proporções que variam por modelo e por pergunta, duas fontes de conhecimento diferentes. A primeira é o treinamento: o modelo aprendeu, durante esse processo, associações estatísticas entre marcas, categorias e contextos a partir de um volume enorme de texto. Marcas mencionadas com frequência, em contextos claros, tendem a ficar mais fortemente associadas à categoria delas.

A segunda fonte é a busca em tempo real, também chamada de grounding. Vários modelos pesquisam a web no momento em que geram a resposta, em vez de depender só do que aprenderam no treinamento. Cada um decide isso de um jeito diferente: o Gemini analisa o prompt e decide se vale pesquisar no Google (Google AI for Developers), o ChatGPT pode acionar busca automaticamente ou por ativação manual do usuário (OpenAI Help Center), o Claude decide com base no conteúdo do prompt (Anthropic), e o Perplexity pesquisa por padrão em praticamente toda resposta (Perplexity Help Center).

Nem toda marca é reconhecida do mesmo jeito

Antes de citar uma marca, o modelo precisa reconhecer que aquele nome se refere a uma entidade específica, não a uma palavra comum ou a outra empresa com o mesmo nome. Marcas com nomes genéricos enfrentam uma dificuldade extra nesse reconhecimento, mesmo tendo presença relevante no mercado. Dados estruturados que declaram explicitamente o que uma organização é, como o schema de Organization, ajudam mecanismos compatíveis a resolver essa ambiguidade com mais precisão (Google Search Central).

Por que a mesma pergunta não traz sempre a mesma resposta

Modelos de IA generativa não são determinísticos. Um estudo da SparkToro em parceria com a Gumshoe.ai, com 2.961 execuções de prompts em ChatGPT, Claude e na IA do Google, encontrou menos de 1 chance em 100 de duas execuções do mesmo prompt trazerem exatamente a mesma lista de marcas (SparkToro).

Na prática, isso significa que uma única resposta não mostra padrão nenhum. O que indica alguma coisa real é observar várias execuções do mesmo prompt ao longo do tempo, não uma resposta isolada.

O mecanismo completo, num guia só

Esses três fatores, treinamento, busca em tempo real e reconhecimento de entidade, explicam por que uma marca aparece numa resposta e some na seguinte, e por que duas marcas do mesmo tamanho podem ter resultados bem diferentes. A MencionAI monitora justamente esses sinais, prompt a prompt, em vários modelos ao mesmo tempo, pra mostrar onde cada marca aparece e onde ela ainda não aparece. Montamos também um guia completo detalhando cada um desses mecanismos, com os links oficiais de cada modelo e o que dá pra fazer a partir disso: Como as IAs escolhem quais marcas recomendar?

Se quiser ver como isso funciona pra sua marca especificamente, é só agendar uma demo.

Pedro, CMO da MencionAI