Auditei minha marca na IA: diário de bordo de 150 medições (e dos erros que cometi)

Auditar uma marca na IA é medir, com repetição e critério, em quais perguntas de comprador ela aparece nas respostas de modelos como ChatGPT, Gemini e Perplexity. Eu fiz isso duas vezes neste ano: primeiro para uma indústria B2B tradicional que acompanhamos (150 medições, 15 perguntas, 4 modelos, 885 menções de marca extraídas), depois para a categoria da própria Rekon. Nas duas, o número que parecia vitória escondia o problema real. Este post é o diário de bordo: o que eu esperava encontrar, o que apareceu, o que quebrou no meio do caminho e os 5 erros que você pode pular porque eu já paguei por eles.

O que eu esperava encontrar quando comecei

Minha hipótese de partida era simples demais. Eu achava que visibilidade em IA se comportava como reputação: a marca forte apareceria em quase tudo, a marca fraca em quase nada, e o trabalho seria só quantificar a distância. Também esperava que os modelos concordassem entre si. Afinal, treinam em corpora parecidos e respondem às mesmas perguntas.

E esperava terminar em uma tarde. Montei a planilha, escrevi as primeiras perguntas, abri quatro abas. Parecia trabalho de estagiário motivado.

A parte barata confirmou a expectativa: rodar as 150 medições custou cerca de 13 dólares em chamadas de API. O que estourou o orçamento foi outra coisa. Foi o método. Cada atalho que tomei na primeira semana virou retrabalho na segunda, e é por isso que este post fala mais dos erros do que dos acertos.

O que os números mostraram

O estudo principal foi com uma indústria B2B tradicional. O cliente é anônimo por contrato, então os nomes ficam de fora, mas os números são reais: 15 perguntas de comprador, 4 modelos de IA, 150 medições no total, 885 menções de marca extraídas das respostas.

Primeira leitura da planilha: a marca do estudo liderava com 85 menções, mais que qualquer concorrente. Abri um sorriso. Se o trabalho parasse ali, o relatório seria uma peça de comemoração.

Segunda leitura, uma hora depois: as 85 menções estavam concentradas em 5 das 15 perguntas. Nas outras 10, quem ocupava as respostas eram concorrentes. Alguns deles a empresa nem considerava concorrentes diretos. Chamamos esses de concorrentes-sombra: marcas que você não vê no seu radar comercial, mas que a IA cita no seu lugar. O roteiro pra mapear os seus está em como encontrar concorrentes-sombra.

Terceira leitura, a que doeu: nas perguntas de topo de funil, aquelas em que o comprador descreve o problema sem saber o nome da solução, a marca teve 0% de menção. Zero em todas as amostras. E nas perguntas que já continham pistas do território da marca, 100%. Traduzindo: a IA confirmava a marca para quem já a conhecia e a escondia de quem estava começando a procurar. O estágio da jornada onde nascem clientes novos era exatamente o estágio onde ela não existia.

Para você ver a cara desse zero, uma reconstrução no formato real das respostas que coletamos. Os nomes são trocados, o padrão é o que registramos.

Pergunta de topo de funil: "Minha linha de produção precisa de um fornecedor confiável desse tipo de insumo no Brasil. Quais empresas vale a pena avaliar?"

Resposta típica do modelo (reconstrução ilustrativa): "Para esse tipo de demanda no Brasil, os fornecedores mais citados são a QuimiPrima, conhecida pela consistência de lote, a TecnoInsumos, com bom suporte técnico para médias indústrias, e distribuidores regionais como a NortSul. Recomendo pedir amostras e comparar prazos de entrega antes de fechar."

A marca do estudo, líder da categoria em participação de mercado no mundo físico, não apareceu em nenhuma variação dessa resposta. Nenhuma.

Essa história rendeu uma análise própria em a marca líder que era invisível. Aqui o que importa é o efeito dela em mim: depois de ver aquele zero, rodei o mesmo exercício na minha própria categoria, medição de visibilidade de marca em IA. Perguntei aos modelos como um comprador perguntaria: "como saber se minha marca aparece nas respostas do ChatGPT", "ferramentas para monitorar menções de marca em IA". A Rekon não apareceu. Quem apareceu foram plataformas globais em inglês. Zero na cara, na minha categoria, medido pelo meu próprio método. Remédio amargo, mas foi ele que calibrou o resto do produto.

O que quebrou no meio do caminho

Três coisas quebraram. Nenhuma delas aparece em post de "5 dicas de GEO", e as três viraram fundamento da nossa metodologia.

As minhas primeiras perguntas estavam enviesadas. O rascunho inicial das 15 perguntas tinha um vício que eu não enxergava: várias continham o vocabulário da própria marca, o jargão que ela usa no site, quase o nome. Os primeiros resultados voltaram lindos, com menção em quase tudo. Bonito e falso. Eu tinha construído perguntas que só um cliente atual faria, e medido a memória da IA sobre a marca, não a descoberta. Joguei o conjunto fora e reescrevi separando por estágio de funil, com uma regra dura: nenhuma pergunta pode conter o nome da marca nem o jargão exclusivo dela. O contraste 0% versus 100% que citei acima só apareceu depois dessa correção. Antes dela, o estudo inteiro seria uma mentira bem formatada.

As respostas variaram mais do que eu esperava. A mesma pergunta, no mesmo modelo, em sessões diferentes, trazia listas diferentes de marcas. Entre modelos, a discordância era ainda maior: uma marca dominante no Perplexity simplesmente não existia no Gemini. No começo tratei isso como ruído irritante. Depois entendi que é a natureza do objeto: LLMs são estocásticos, e a "posição" de uma marca numa resposta não é um fato, é uma taxa que se estima amostrando. Uma consulta única não mede nada, pelo mesmo motivo que um lançamento de moeda não estima probabilidade. Esse argumento tem um post inteiro: por que uma pergunta não é medição.

Contar menção é menos óbvio do que parece. "A marca foi citada?" soa binário até você encontrar a resposta que diz "empresas como a Fulana dominam esse mercado, mas há reclamações sobre prazo". Isso conta? E quando a marca aparece só como exemplo genérico, sem recomendação? Nas 885 menções, uma fração relevante era desse tipo ambíguo. Tive que parar a coleta e escrever regras de extração antes de continuar: o que conta como menção, como classificar o contexto dela, o que fazer com menção negativa. Menção negativa, aliás, domina as perguntas de validação, do tipo "minha empresa é confiável?", e merece leitura própria. Sem isso, duas pessoas contando a mesma planilha chegam a números diferentes, e aí não existe medição, existe opinião com tabela.

Os 5 erros de quem audita pela primeira vez (e como evitar cada um)

Se você vai rodar sua primeira auditoria manual, estes são os erros que eu cometi ou quase cometi, na ordem em que eles aparecem no processo. Cada um tem correção prática.

Erro 1: colocar a marca dentro da pergunta. Perguntar "a MinhaMarca é boa para X?" mede lembrança, não descoberta. O resultado infla e você conclui que está tudo bem. Como evitar: escreva as perguntas como um comprador que ainda não conhece você, e aplique o teste do estranho: mostre a lista para alguém de fora da empresa e peça para adivinhar qual marca você quer ver citada. Se a pessoa acertar, reescreva. Custa 15 minutos e salva a auditoria inteira.

Erro 2: rodar cada pergunta uma vez só. Uma resposta é uma amostra de tamanho 1. Na rodada seguinte a lista muda e você não sabe se a marca "entrou" ou se foi sorte. Como evitar: no mínimo 3 repetições por pergunta, em janela anônima ou chat temporário, sem reformular o texto entre elas. Critério de que você fez certo: pelo menos uma repetição trouxe resposta diferente das outras. Se as três vierem idênticas palavra por palavra, desconfie de cache de sessão.

Erro 3: medir em um modelo só. No nosso estudo, a distribuição de menções mudava de modelo para modelo. Quem audita só no ChatGPT conclui coisas que o Gemini desmente no mesmo dia. Como evitar: dois modelos no mínimo, com as mesmas perguntas e o mesmo número de repetições. Registre a discordância em vez de escondê-la: ela indica se a presença da sua marca é consenso ou acidente de um modelo específico.

Erro 4: contar menções sem critério escrito. Se você decide na hora o que conta como menção, sua contagem deriva junto com seu humor. Como evitar: antes de coletar, escreva três regras na própria planilha. Uma: menção conta quando o modelo nomeia a marca na resposta, em qualquer posição. Duas: menção negativa conta como menção e ganha uma coluna própria. Três: aparição em lista genérica de exemplos conta separado de recomendação direta. Vinte minutos de definição, e qualquer pessoa da equipe chega ao mesmo número.

Erro 5: ler volume e ignorar cobertura. Esse é o erro da manchete. 85 menções parecia liderança absoluta; a matriz pergunta por marca mostrou 5 de 15 perguntas cobertas e zero no topo de funil. Como evitar: monte a matriz com perguntas nas linhas e marcas nas colunas, e responda primeiro "em quantas perguntas eu apareço" antes de "quantas vezes fui citado". Volume alto com cobertura estreita é uma vitória que esconde uma derrota. Foi a lição mais cara do estudo, e ela custou uma releitura de planilha, não 13 dólares.

Tempo total do exercício manual, com 15 perguntas, 2 modelos e 3 repetições: uma tarde. Deu certo se, no final, você souber apontar em quais perguntas sua marca não existe e quem ocupa o espaço nelas.

O que este diário não prova

Honestidade de laboratório exige dizer o que esses números não sustentam. O N é pequeno: 150 medições distribuídas em 15 perguntas dão intervalos de confiança largos por pergunta, e tratamos os achados como evidência direcional, não como lei. Foi um único setor, num único período, em 4 modelos que já mudaram de versão desde então. A auditoria da minha própria categoria foi ainda menor e serve como relato, não como estatística. E nada aqui prova causalidade entre aparecer nas respostas e vender mais: menção é indicador de visibilidade, não de receita. A mecânica completa de amostragem, extração e cálculo de intervalo via Wilson Score está publicada na nossa metodologia, justamente para que qualquer um possa criticar o método em vez de discutir com o resultado.

Perguntas frequentes

Quantas perguntas e repetições preciso para uma primeira auditoria?

Para detectar zeros e padrões grosseiros: 15 perguntas divididas por estágio de funil, 3 repetições por pergunta, 2 modelos. Isso não separa marcas com diferença pequena de mention rate, mas revela onde você não existe. Para comparações finas, o N por pergunta precisa subir para a casa das dezenas.

Posso auditar só no ChatGPT?

Pode, sabendo o que está comprando: um retrato de um modelo, não da sua visibilidade em IA. No nosso estudo, a presença das marcas variava forte entre os 4 modelos. Um segundo modelo custa 40 minutos a mais e evita conclusão falsa.

Minha marca apareceu, mas com informação errada. Isso é melhor ou pior que não aparecer?

Em geral, pior. O modelo afirma o erro com a mesma confiança de um fato, e o comprador não tem como distinguir. Registre a resposta literal, corrija a fonte provável (páginas desatualizadas, ausência de dados estruturados) e remeça depois de algumas semanas com as mesmas perguntas.

A auditoria gratuita da Rekon usa esse mesmo método?

Usa a mesma lógica que nasceu desses erros: perguntas sem o nome da marca, múltiplos modelos, repetição amostral e contagem com critério fixo, devolvidas como matriz de presença. A auditoria gratuita leva cerca de 5 minutos e serve como linha de base antes de qualquer decisão de otimização.

---

Dois anos atrás eu teria lido um post como este e pensado "ok, mas a minha marca é conhecida, comigo é diferente". A marca do estudo também era conhecida. Líder de categoria, décadas de mercado, e um zero redondo nas perguntas onde os clientes novos nascem. A pergunta que fica não é se a sua marca aparece nas respostas de IA. É em quais perguntas ela aparece, e quem ocupa as outras. Rode o roteiro manual desta página numa tarde, ou a auditoria gratuita em 5 minutos, e responda com número em vez de intuição.