Testei no ChatGPT e apareci: por que uma pergunta não é medição

Perguntar uma vez ao ChatGPT se a sua marca aparece não é medição. É um sorteio com uma bola só. Modelos de linguagem são estocásticos: a mesma pergunta produz respostas diferentes por construção, então visibilidade em IA não é um fato que você confere, é uma taxa que você estima. E taxa exige repetição, N declarado e intervalo de confiança. Este post mostra a matemática disso com um exemplo numérico conferido, explica por que usamos o intervalo de Wilson e termina com um protocolo pra você medir com honestidade ainda hoje.

É o post mais técnico do nosso blog. De propósito. Se um número vai justificar orçamento, você merece ver como o número é feito.

Por que a mesma pergunta gera respostas diferentes?

Um LLM não busca uma resposta pronta num banco de dados. Ele gera o texto palavra por palavra, e a cada palavra escolhe entre várias candidatas, cada uma com uma probabilidade. Nas configurações de produto, essa escolha envolve sorteio: o modelo não pega sempre a candidata mais provável, ele sorteia entre as boas, com um parâmetro (a temperatura) controlando o quanto ousa. É assim que o texto sai natural em vez de repetitivo, e é assim desde a base da geração atual (Brown et al., Language Models are Few-Shot Learners, 2020).

Consequência direta: duas sessões idênticas divergem. Uma palavra sorteada diferente no início muda o caminho da frase, que muda a estrutura da resposta, que muda quais marcas entram nela. Some o que os produtos web colocam por cima: busca em tempo real, instruções de sistema que mudam sem changelog, memória de conversa. A resposta que seu comprador vê é o resultado de uma cadeia de sorteios.

Na prática, fica assim. O exemplo abaixo é ilustrativo, montado no formato real das respostas, com marcas fictícias.

Pergunta, repetida 5 vezes em janelas anônimas: "Quais as melhores plataformas de CRM para pequenas empresas no Brasil?"

Resposta 1: "As mais recomendadas são VendaFlux, ClienteHub e PipeNorte..." Resposta 2: "Destacam-se ClienteHub, VendaFlux, Simplesa e OrbitaCRM..." Resposta 3: "Para pequenas empresas, considere ClienteHub e Simplesa..." Resposta 4: "Boas opções incluem VendaFlux, PipeNorte e OrbitaCRM..." Resposta 5: "As líderes do segmento são ClienteHub, OrbitaCRM e VendaFlux..."

Repare na Simplesa: apareceu em 2 das 5 respostas. Ela "aparece no ChatGPT"? Depende de qual janela o comprador abriu. Quem testou na janela 3 acha que está bem. Quem testou na janela 4 acha que está invisível. Os dois printaram a tela e os dois estão errados, porque um print é uma amostra de uma distribuição, não a distribuição.

O que "apareci em 2 de 3 tentativas" realmente diz?

Agora a parte que quase ninguém faz: colocar número na incerteza. Suponha 3 rodadas da mesma pergunta, com sua marca aparecendo em 2. Taxa observada: 67%. Parece bom. A pergunta estatística correta é outra: quais taxas reais de aparição tornariam esse resultado plausível?

É isso que um intervalo de confiança responde. O raciocínio, sem fórmula: se a taxa real fosse 25%, ver 2 acertos em 3 tentativas seria raro, mas não implausível (acontece cerca de 14% das vezes). Se fosse 90%, também é plausível (24% das vezes você vê exatamente 2 em 3). Com 3 tentativas, quase nenhuma taxa consegue ser descartada. O intervalo de Wilson formaliza essa varredura e, para 2 em 3 com 95% de confiança, devolve:

Taxa real entre 20,8% e 93,9%.

Leia de novo. Seus dados são compatíveis tanto com uma marca que aparece 1 vez a cada 5 quanto com uma que aparece 9 vezes a cada 10. A largura do intervalo é de 73 pontos percentuais. Você não mediu 67%; você mediu "algo entre raro e quase sempre". Um detalhe fino: o centro do intervalo de Wilson fica em 57%, não nos 67% observados. Com N pequeno, o método puxa a estimativa em direção a 50%, que é exatamente o comportamento honesto: 3 tentativas não sustentam uma afirmação extrema.

A saída é aumentar N. A tabela abaixo mantém a mesma taxa observada (na casa dos 2 em cada 3) e mostra o que acontece com o intervalo de Wilson a 95% conforme a amostra cresce. Calculamos cada linha antes de publicar.

Dois padrões importam. Primeiro: só a partir de N=25 dá pra afirmar "essa marca aparece na maioria das vezes", com limite inferior perto de 48%. Segundo: a largura encolhe com a raiz quadrada de N. Cortar a margem pela metade quadruplica o número de medições. É por isso que medição séria custa: rigor não escala de graça.

Por que Wilson e não a fórmula da faculdade?

Quem fez estatística básica aprendeu a aproximação normal: taxa observada mais ou menos 1,96 vezes o erro padrão. Ela funciona bem com amostras grandes e taxas moderadas. O problema é que medição de visibilidade em IA vive exatamente no regime onde ela quebra: N pequeno e taxas perto de 0% ou de 100%.

Três quebras concretas, com os mesmos dados de antes:

1. Ela inventa taxas impossíveis. Para 2 em 3, a aproximação normal devolve o intervalo de 13% a 120%. Uma taxa de aparição de 120% não existe. O método está declarando incerteza pra fora do universo dos valores possíveis.
2. Ela finge certeza absoluta nos extremos. Sua marca apareceu em 3 de 3 tentativas? A aproximação normal devolve um intervalo de largura zero: 100% a 100%, certeza total com três amostras. O Wilson, para os mesmos 3 de 3, devolve 43,8% a 100%: três acertos seguidos são compatíveis com uma marca que aparece menos da metade das vezes. Vale o espelho: 0 em 3 não prova invisibilidade, o Wilson devolve 0% a 56,2%.
3. Ela foi testada e perdeu. Newcombe (1998, Statistics in Medicine) comparou sete métodos de intervalo pra proporções e recomendou o de Wilson justamente pela robustez com amostras pequenas e proporções extremas. O método tem quase um século (Wilson, 1927, JASA) e continua sendo o padrão em contextos onde errar a margem custa caro, de testes A/B ao ranking de avaliações do Reddit.

Não escolhemos Wilson por sofisticação. Escolhemos porque é o método que não mente nos cantos do problema, e o nosso problema vive nos cantos: perguntas de cauda longa têm taxas perto de zero, e monitoramento contínuo trabalha com N pequeno por janela. A implementação está na nossa metodologia, fórmula incluída.

Modelos discordam entre si. Isso é ruído?

Não. É informação, e das mais acionáveis.

No nosso estudo com uma indústria B2B tradicional (cliente anônimo por contrato), rodamos 150 medições sobre 15 perguntas de comprador em 4 modelos de IA e extraímos 885 menções de marca das respostas. Com esse desenho, o N por pergunta é pequeno e os intervalos são largos; tratamos cada taxa individual como direcional e dissemos isso no relatório. Mas um padrão sobreviveu à incerteza: os modelos não contavam a mesma história sobre a mesma marca. Havia perguntas em que um modelo a citava com frequência e outro não a citava em nenhuma repetição. A história completa do caso, incluindo a líder em volume que sumia no topo de funil, está em a marca líder que era invisível.

É pra capturar isso que medimos Model Agreement: o grau de concordância entre modelos sobre a taxa de menção de uma marca. Concordância alta significa consenso entre as IAs. Concordância baixa significa que sua visibilidade depende de qual assistente o comprador abriu, um risco concreto, porque seu mercado não usa um modelo só. Medir apenas o ChatGPT e generalizar é medir meia realidade e assinar embaixo.

Há ainda um efeito de idioma que quase ninguém declara: em português, os LLMs citam em média 3 a 5 fontes por resposta, contra 6 a 8 em inglês (dataset Rekon, n=2.500 sessões). Menos vagas na resposta significa competição mais dura pela inclusão. Uma taxa de 30% em PT-BR não se compara com 30% em EN.

Limitações do nosso estudo, porque número sem limitação é marketing: um único setor, um único período de coleta, 4 modelos, e o comportamento de cada modelo muda a cada release. Nada aqui é lei universal. É evidência direcional obtida com método declarado, que é o máximo que dados honestos permitem afirmar.

Como medir com honestidade, sem ferramenta paga?

O protocolo mínimo abaixo troca amplitude por profundidade: poucas perguntas, muitas repetições. Leva cerca de 3 horas e produz números que você pode defender numa reunião.

1. Escolha 5 perguntas de comprador (15 min). Perguntas que um cliente real faria antes de conhecer sua marca, sem o nome dela no texto. Se você quer amplitude com 15 perguntas, o roteiro está em GEO: o que é e por que o SEO que você faz hoje não resolve; o daqui prioriza precisão.
2. Rode cada pergunta 10 vezes no ChatGPT (90 min). Janela anônima ou chat temporário, sem login, pergunta colada idêntica, sem reformular. Registre numa planilha cada marca citada por resposta. Critério de qualidade: 50 respostas registradas, nenhuma pergunta alterada no meio.
3. Calcule a taxa e o intervalo (15 min). Taxa = respostas com a marca dividido por 10. Pro intervalo, busque "Wilson score interval calculator", preencha acertos e N. Com N=10, espere margens na casa de 25 pontos pra cada lado. Anote o intervalo junto da taxa, sempre. Se quiser comparar com concorrentes, a métrica agregada é o share of AI voice, calculado sobre a mesma planilha.
4. Repita num segundo modelo (60 min). Gemini ou Perplexity, mesmas perguntas, mesmas 10 repetições. Agora você tem um Model Agreement artesanal: as taxas dos dois modelos contam a mesma história ou não?
5. Só conclua o que os intervalos autorizam. Com N=10, os achados confiáveis são os extremos: um zero em 10 é sinal forte (IC de 0% a 27,8%), um 9 em 10 também. Diferenças de 60% contra 70% entre você e um concorrente são indistinguíveis nesse N. Deu certo se você termina com uma frase do tipo: "aparecemos em 2 das 5 perguntas no ChatGPT, em nenhuma no Gemini, com N=10 e intervalos anotados".

E quando alguém te oferecer isso pronto, ferramenta ou consultoria, três perguntas desmascaram método fraco em dois minutos:

1. Qual é o N por pergunta? Se a resposta for "monitoramos continuamente" sem número, é print com dashboard por cima.
2. Cadê o intervalo de confiança, e por qual método? Taxa sem margem de erro é opinião com aparência de dado. O método importa: agora você sabe o que a aproximação normal faz com N pequeno.
3. A metodologia está publicada? Não o pitch: a fórmula, o N, o tratamento de incerteza, as limitações. Quem mede bem publica como mede antes de mostrar o que mede.

Evasiva em qualquer uma das três encerra a conversa. Essa régua vale contra qualquer fornecedor, inclusive contra a Rekon: a nossa metodologia está aberta exatamente pra ser cobrada por ela. O outro lado da mesa tem o mesmo dever, e como vender GEO sem prometer o que não dá mostra o que uma proposta honesta contém.

Perguntas frequentes

Quantas repetições preciso pra confiar num número?

Depende da decisão. Pra detectar zeros e padrões grosseiros, N=10 por pergunta basta. Pra comparar marcas ou acompanhar evolução mensal, N=30 dá intervalos na casa de 15 pontos pra cada lado, o mínimo defensável num relatório executivo. Pra afirmações públicas, centenas. A regra da raiz quadrada não perdoa: metade da margem custa quatro vezes o N.

Rodar com temperatura zero não elimina a variação?

Não resolve. Mesmo com temperatura zero, LLMs em produção não são totalmente determinísticos: processamento em lote e atualizações silenciosas introduzem variação. E o motivo maior é conceitual: seu comprador usa o produto com as configurações padrão. Suprimir a variação é medir um cenário que não existe pra ele. A variação é o fenômeno, não o obstáculo.

Um resultado de 2 em 3 então não vale nada?

Vale como triagem, não como medição. Ele diz que sua marca não é impossível de aparecer, e só. Com intervalo de 20,8% a 93,9%, qualquer decisão de orçamento baseada nesse número é aposta. Use amostras pequenas pra decidir onde vale medir de verdade, nunca pra declarar vitória ou derrota.

Intervalo de confiança não é exagero pra uma métrica de marketing?

É o mesmo padrão que você já exige de pesquisa eleitoral e de teste A/B, e medição de visibilidade em IA é estruturalmente o mesmo problema: estimar uma proporção a partir de amostras de um processo aleatório. Se o número vai justificar orçamento, ele precisa de margem de erro. Sem ela, uma flutuação de sorteio vira "crescimento" no slide de alguém.

---

A régua deste post cabe numa frase: só aceite números de visibilidade em IA com N declarado e margem de erro visível. Aplique hoje com o protocolo de 3 horas acima, ou rode a auditoria gratuita da Rekon, que executa a medição multi-modelo e devolve as taxas com intervalos já calculados. E quando um número honesto mostrar um zero onde você esperava presença, veja em a marca líder que era invisível o que um zero desses fez com uma líder de categoria.