Robots.txt e a busca por IA: você está bloqueando os rastreadores que citam sua loja?

Por que meu robots.txt bloquearia rastreadores de IA?

Raramente de propósito. A maioria dos bloqueios chega por herança: um plugin de segurança, uma configuração padrão de CDN, um preset da hospedagem ou um template copiado que adicionou regras Disallow para bots de IA durante a onda de 2023 de "mantenha meu conteúdo fora do treinamento". A regra fica no arquivo por anos sem que ninguém a revise.

A intenção naquela época era impedir que seu conteúdo fosse usado no treinamento de modelos. O efeito colateral hoje é que essa mesma regra pode manter suas avaliações fora das citações ao vivo que os motores de resposta mostram a um comprador no momento da decisão. Acesso para treinamento e acesso para resposta não são a mesma coisa, mas uma única linha Disallow muitas vezes bloqueia os dois.

Quais user-agents de rastreadores de IA devo procurar?

Cada motor de busca por IA envia rastreadores diferentes, e bloquear um não bloqueia os outros. Abra seu robots.txt e verifique as linhas User-agent em busca dos rastreadores de IA nomeados, depois leia as regras Disallow associadas a cada bloco.

Uma regra sob um user-agent se aplica somente àquele agente, então um arquivo pode receber bem o Googlebot de busca orgânica e ao mesmo tempo bloquear silenciosamente o rastreador que alimenta um AI Overview.

• GPTBot e OAI-SearchBot, os rastreadores da OpenAI por trás da busca do ChatGPT.
• ClaudeBot e Claude-User, usados pela Anthropic.
• PerplexityBot, que busca as páginas que o Perplexity cita.
• Google-Extended, que governa o Gemini e os AI Overviews separadamente do Googlebot comum.

Bloquear um rastreador significa realmente perder a citação?

Na maioria das vezes, sim. Os motores de resposta dependem dos rastreadores que controlam para ler a página ao vivo, e o robots.txt é o portão que o rastreador obedece. Se o portão está fechado, o motor não tem uma cópia legível das suas avaliações para citar, e você some das respostas para qualquer comprador que nunca digitou o nome da sua marca.

O aviso honesto: robots.txt é uma solicitação, não um muro. Rastreadores que seguem as regras a respeitam, e os principais bots de IA geralmente o fazem, então um Disallow tem custo real com eles. Ele não vai parar um agente que ignora o arquivo, e não é um controle de segurança. O ponto aqui é mais simples: se você quer ser citado, não bloqueie os rastreadores que fazem as citações.

Como auditar o robots.txt sem abrir tudo para qualquer um?

Você não está escolhendo entre bloqueio total e exposição total. A auditoria é sobre remover os bloqueios acidentais nos poucos rastreadores que alimentam respostas voltadas ao comprador, mantendo qualquer bloqueio que você tenha definido deliberadamente.

Percorra o processo em ordem e mude uma coisa por vez para ver o efeito de cada edição.

• Leia sua-loja.com.br/robots.txt e liste cada bloco User-agent e suas regras Disallow.
• Marque qualquer Disallow que aponte para GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot ou Google-Extended.
• Decida rastreador por rastreador: um bloqueio deliberado permanece; um herdado que você nunca escolheu sai.
• Confirme que suas páginas de avaliações e URLs de produtos não são capturados por um caminho Disallow amplo demais.

Desbloqueei os rastreadores. Por que as avaliações ainda não aparecem nas citações?

Porque acesso é necessário, mas não suficiente. Deixar o rastreador entrar só importa se houver algo legível para ele levar ao sair. Uma loja pode receber todos os bots de IA e ainda não ser citada porque suas avaliações são renderizadas dentro de um Widget JavaScript que o rastreador vê como um container vazio.

A maioria dos aplicativos de avaliação foi construída para o comprador na página e para no Widget, o que torna as avaliações ilegíveis para os próprios rastreadores que você acabou de desbloquear. Fazer com que suas avaliações existentes sejam legíveis, corroboradas e citadas em busca orgânica e IA é a lacuna que o BeyondReviews existe para fechar. O robots.txt abre a porta; o HTML de avaliações legível é o que o motor de resposta de fato leva consigo.

Qual a diferença entre robots.txt, a tag noindex e o arquivo llms.txt?

Cada um controla uma coisa diferente. O robots.txt governa se um rastreador pode buscar uma página. A tag noindex deixa o rastreador buscar, mas pede ao motor que não indexe, então é um sinal mais suave e só é visto depois que a busca é permitida. O arquivo llms.txt é uma proposta separada que aponta modelos para conteúdo preferido e não tem poder de bloquear ninguém.

Para citação por IA, o robots.txt é o que sustenta tudo. Se ele não permite o rastreador, nada mais importa, porque o motor nunca chega a ler a página, muito menos a considerar uma tag noindex ou uma dica do llms.txt.

O que isso significa na prática

O robots.txt é uma verificação de cinco minutos com consequências desproporcionais. Um único Disallow herdado pode remover sua loja das respostas de IA sem que ninguém perceba, e a correção geralmente é deletar uma linha que você nunca quis adicionar. Audite os user-agents de rastreadores de IA, mantenha os bloqueios que você escolheu, remova os que você herdou e depois confirme que as avaliações por trás da porta são realmente legíveis quando o rastreador passa por ela.