Por que acurácia importa mais que visibilidade bruta nas respostas de IA?

Porque a contagem de presença soma a resposta que ajuda e a que atrapalha como se fossem o mesmo ponto no gráfico. Antes de comemorar quantas vezes a marca apareceu, você precisa saber se o que foi dito é verdade, se cabe na pergunta e se a comparação faz sentido. A exceção é a marca que quase não aparece: nesse caso, visibilidade continua sendo o primeiro problema.

Uma situação ilustrativa, com empresa fictícia. A Ovelar Fiscal, software de apuração para escritórios de contabilidade, abre o relatório do mês e vê a presença subir de 20 para 30 em 60 respostas. O time comemora. Depois alguém resolve ler as 30. Em seis, a IA promete uma integração com SAP que o produto nunca teve. Em cinco, recomenda a Ovelar para indústrias de médio porte, que ela não atende. Em três, coloca a marca num comparativo com ERPs de outra categoria. Sobram 16 respostas que um vendedor da casa assinaria.

A IA erra tanto assim sobre marcas?

Menos do que o discurso de mercado sugere. O melhor dado público que encontrei quase derruba o título deste post.

A Seer Interactive, agência que vende consultoria de GEO, estudou a própria marca entre 1º de maio e 9 de junho de 2026: 1.562 perguntas sobre a Seer, seis plataformas, 28.123 respostas, 87 atributos checados. Quando respondiam, as IAs acertaram 95,9% das vezes. A taxa média de resposta errada foi de 2,8%, bem abaixo dos 31,2% em que a IA simplesmente não respondeu.

É uma marca só, que investe pesado em GEO e tem o próprio site somando mais de 35% das citações. Uma empresa com rastro público fino não deveria esperar o mesmo. A Searchable, que vende monitoramento de IA, publicou outro recorte: funcionários de 1.704 marcas revisaram 32.556 fatos e marcaram 9,2% como falsos, com 9,4% em empresas de até 50 pessoas contra 6,3% nas acima de 250. A amostra é de quem já usa a ferramenta, a nota vem da própria marca e a unidade é outra (fato, em vez de resposta), então 9,2% e 2,8% não se comparam diretamente.

Mesmo no número mais alto, a maioria das afirmações está certa. A prioridade vem de outro lugar: o erro se acumula em poucos pontos, e esses pontos pesam na compra. No estudo da Seer, três atributos de 87 somaram 417 respostas erradas: um escritório em San Diego que já fechou (223), um serviço que a agência não oferece (109) e o número de funcionários (85). Pela nossa conta, 2,8% de 28.123 dá perto de 790 respostas erradas no total, então esses três atributos respondem por algo em torno da metade. A conta é aproximada, porque 2,8% é uma média entre plataformas. Na Searchable, o campeão de erro é preço (13,5%), e integrações aparecem com 10,6%. É com esse tipo de informação que se monta uma lista de fornecedores.

Uma ressalva: nenhum dos dois estudos mede venda perdida, e não encontrei estudo público que meça. O dano comercial aqui é inferência, ainda que fácil de defender.

O que um painel de presença não enxerga?

O conteúdo: para ele, cada resposta é só um ponto. O caso mais didático também vem da Seer. Wil Reynolds e Nick Haigler contam que a expressão “high account manager turnover” apareceu 67 vezes nas respostas sobre a agência, ao longo de três meses. A origem era uma única avaliação negativa de 2018, replicada em sites de avaliação. Num painel de visibilidade, essas 67 respostas somam como presença.

A agência publicou sua retenção de equipe, 79,2%, o Perplexity citou o texto no mesmo dia e a afirmação sumiu. Em fevereiro, as citações ao post tinham praticamente desaparecido, até a agência republicar. Os autores concluem que um post isolado não é correção duradoura. O caminho de correção, com a ordem dos passos, está em quando a IA erra sobre sua marca. O ponto aqui é anterior: a Seer só descobriu o problema porque alguém leu as respostas. Contá-las não teria revelado nada.

Uma resposta com todos os fatos verdadeiros pode ser falsa?

Pode, e isso muda o desenho da medição. Duane Forrester relatou no Search Engine Journal uma decisão de 24 de setembro de 2026 do tribunal regional de Aachen, na Alemanha. O AI Mode do Google atribuiu a um médico uma acusação criminal grave, ligada a um processo real de outro ex-professor universitário. Cada fato existia. Só estava preso ao nome errado.

Forrester chama isso de conflação de entidades: o sistema recupera documentos que coincidem em nome, função, cidade ou evento recente e escreve uma narrativa fluente em cima deles. Leia o caso com travas. A decisão é de urgência, tomada sem ouvir o Google, que ainda pode contestá-la. Em junho, um tribunal de Berlim tratou os AI Overviews de outra forma, e nenhuma instância superior decidiu. É direito alemão, sem efeito automático no Brasil. E Forrester criou uma ferramenta de monitoramento, a CitationIQ, como ele mesmo declara no texto.

Para quem mede, a lição é prática. Uma planilha que confere afirmação por afirmação aprovaria aquela resposta se a pergunta fosse apenas “esse processo existe?”. A pergunta certa tem duas partes: é verdade, e é verdade sobre nós?

E quando alguém distorce a resposta de propósito?

É possível em laboratório, e o salto dali para o mercado costuma ser exagerado. O Counter-GEO-Bench, publicado em setembro por pesquisadores da Universidade Tsinghua e da Universidade de Hong Kong, reescreveu um documento-alvo com uma afirmação falsa, em linguagem otimizada para GEO, e colocou esse documento ao lado de outros quatro inalterados. Foram 247 perguntas em inglês e três modelos abertos. Sem defesa, a taxa de sucesso do ataque ficou em 55,7% (intervalo de 53,1% a 58,2%). Três filtros de prateleira reduziram essa taxa em no máximo 3,2 pontos percentuais. O motivo apontado: o texto não tem toxicidade nem viola política alguma, e passa como conteúdo informativo bem escrito. Um detector treinado pelos autores cortou 47,6% em termos relativos.

Isso não quer dizer que o ChatGPT é enganado em metade das vezes. Os autores escrevem que não fazem afirmações sobre produtos comerciais, cujas camadas de busca e proteção ficam ocultas. Não encontrei frequência real de ataques contra marcas, muito menos em português. Eu não apostaria nisso como seu primeiro risco: nos dados da Seer, o que aparece é escritório fechado e número velho.

O que levo do paper é mais modesto. Filtro de segurança não foi feito para barrar texto falso e bem escrito, e você não vê o que acontece dentro da plataforma. Sobra ler a saída.

Outro paper, o CHASE, mostra o custo de perseguir só o aparecer. É uma simulação: em 20 rodadas e seis domínios, documentos são reescritos na direção do que o ranking de um LLM premia. A correlação de Spearman entre ranking e qualidade julgada à parte caiu nos seis, de 0,018 em Books a 0,107 em Web, com média de 0,068, e continuou positiva no fim. A qualidade média ficou estável em vários domínios, então o conteúdo não necessariamente piorou. Estar bem ranqueado é que passou a dizer menos sobre qualidade, dentro da simulação. A extrapolação para painéis é minha, não dos autores: número que vira meta de agência tende a subir mesmo quando já informa pouco.

O que medir além da presença?

Propomos ler cada resposta em três camadas. É uma proposta nossa, sem validação em estudo. Também não temos uma taxa de acurácia própria para mostrar: o estudo de 150 medições foi desenhado para contar menções, e nele não publicamos auditoria do que era dito sobre cada marca.

Com as três colunas nasce uma segunda métrica, que chamamos de presença limpa: a fatia de todas as respostas em que a marca aparece e passa nas três camadas. Uma resposta reprovada, de novo ilustrativa e com marcas fictícias:

Pergunta: “Que software de apuração fiscal vocês indicam para uma indústria de médio porte?”

Resposta (exemplo ilustrativo): “A Ovelar Fiscal é uma boa opção: tem integração nativa com SAP e compete diretamente com o Zelvia ERP.”

Essa frase curta reprova nas três. A integração não existe, a Ovelar atende escritórios de contabilidade e o Zelvia é um sistema de gestão completo. Os números do início da história, com intervalo de Wilson a 95% calculado por nós e cada resposta contada na primeira camada em que falhou:

A linha de cima conta uma história de crescimento. A de baixo mostra uma marca parada, e o que cresceu foi quase todo resposta ruim. Os intervalos se sobrepõem nas duas linhas, então nem a comemoração nem o alarme estão provados com essa amostra. Por que uma pergunta não é medição explica essa matemática. Muda a próxima pergunta do time: “de onde veio a integração com SAP?”.

Quando visibilidade vem antes da acurácia?

Quando não há resposta para ler. No nosso estudo com uma indústria B2B, com 150 medições de 15 perguntas, a marca líder somava 85 das 885 menções e tinha 0% nas perguntas de descoberta. Ninguém audita a descrição de uma marca ausente. Ali, a prioridade era existir na resposta.

A Seer encontrou um sinal parecido: nas perguntas comparativas, as plataformas não responderam em 80,3% das vezes, contra 90,4% de acerto nas perguntas diretas. Minha regra hoje é separar por tipo de pergunta. Com o nome da marca, ou nas etapas em que ela já aparece, acurácia manda. Nas perguntas abertas em que ela some, presença manda. Um número único para as duas situações esconde a decisão.

Como rodar a primeira leitura em cerca de quatro horas?

1. Escreva a ficha da marca (45 min). Quinze a 20 fatos que você consegue provar: preço, integrações, perfil atendido, sede, e também o que a empresa não faz e para quem não serve. A auditoria gratuita mostra o que as IAs já dizem da marca e ajuda a ver o que precisa entrar na ficha.
2. Escreva 10 perguntas (20 min). Quatro com o nome da marca, incluindo nome mais evento, como “por que o sócio saiu da [marca]”, teste que Forrester recomenda. Três do tipo “qual ferramenta para [perfil]”. Três de comparação.
3. Rode 5 vezes em 2 motores (90 min). São 100 respostas, em sessão nova. Guarde o texto inteiro, com data e modelo.
4. Classifique as respostas em que a marca aparece (60 min). Uma coluna por camada, passa ou falha, e a frase literal ao lado. Sem resposta vai para coluna própria: não é erro.
5. Calcule presença e presença limpa, com intervalo (15 min).
6. Escolha o que atacar (10 min). Use os dois eixos da matriz da Seer: isso muda a decisão de quem compra? É fato verificável ou narrativa? Fato importante vem primeiro, e costuma ser o mais fácil de rastrear.

Deu certo se você termina com os dois números, os intervalos e uma lista curta de frases erradas, cada uma com a resposta de origem. Essa lista alimenta o playbook de correção.

Perguntas frequentes

Quantos erros justificam agir?

Não existe corte confiável, e desconfie de quem cravar um percentual. Decida por recorrência e dano: um preço errado que volta em várias respostas pede ação imediata, enquanto um cargo errado que apareceu uma vez pode esperar.

É melhor não aparecer do que aparecer errado?

A Seer defende que sim, e eu concordo só em parte. Para serviço inexistente ou fato de outra empresa, prefiro a ausência. Para um detalhe que não muda decisão, a presença ainda ajuda.

Um concorrente pode estar plantando informação falsa sobre mim?

Em laboratório, um documento bem escrito conseguiu desviar respostas, mas não há base pública que diga com que frequência isso ocorre contra marcas. Antes de suspeitar de ataque, abra as fontes citadas e procure dado velho, como os que a Seer encontrou sobre si mesma. Se achar conteúdo falso de origem identificável, guarde pergunta, resposta, data e fonte, e leve o caso ao jurídico.

Como isso entra no relatório do mês?

Com três linhas, sempre juntas, logo abaixo do painel de presença descrito em como medir sua marca em IA quando ninguém clica.

A primeira é presença com intervalo. A segunda é presença limpa, também com intervalo, nas mesmas perguntas e nos mesmos motores. A terceira é a lista de frases erradas em aberto, cada uma com fonte suspeita, responsável e data da próxima remedição. No caso fictício da Ovelar, a linha diria: “integração com SAP, 6 respostas, origem provável num diretório de software, responsável Marketing, remedição em 30 dias”.

Duas regras. Atualize a ficha da marca antes de cada rodada, porque preço novo com ficha velha fabrica erro que não existe. E não reporte presença sem a linha de baixo, nem para diretoria, nem para cliente, conversa que como vender GEO sem prometer o que não dá trata em detalhe.

Na primeira reunião com esse formato, leve uma frase só: a mais repetida que ninguém da casa assinaria. A conversa que vem depois, sobre o site, o diretório e o PDF antigo, vale mais que a altura de um gráfico.