GEO e busca por IA

Seu site está bloqueando o ChatGPT? robots.txt para crawlers de IA em sites B2B

Antes do conteúdo, verifique o acesso. Muitos sites de exportadores bloqueiam por acidente os crawlers de busca por IA via robots.txt, CDN ou plugin de segurança. Veja como diferenciar bots de busca de bots de treinamento e o que permitir.

Equipe de pesquisa ToucHighPublicado em 6 min de leituraPortuguês
Um simpático balão de conversa de IA com olhos violeta desce um balde laranja num poço de pedra limpo, cercado por um frasco de laboratório, uma régua, um frasco de produto e uma prancheta em branco, enquanto um monte empoeirado de elos de corrente escuros fica ignorado ali perto.
“
A pergunta por trás deste artigo

Nossa equipe de TI bloqueou os "bots de IA" no site no ano passado. Pode ser por isso que o ChatGPT nunca mostra nossa fábrica? E o que devemos permitir?

Resposta curtaÉ bem possível. As empresas de IA operam bots separados para busca e para treinamento de modelos. A OpenAI diz que os sites que bloqueiam o OAI-SearchBot não são mostrados nas respostas de busca do ChatGPT, enquanto o GPTBot só rege o treinamento. Permita os crawlers de busca (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot), decida separadamente sobre bots de treinamento como o GPTBot e o Google-Extended e confira se a sua CDN ou o seu firewall não os bloqueiam independentemente do robots.txt.

Pontos principais

  • O OAI-SearchBot da OpenAI mostra sites na busca do ChatGPT; o GPTBot serve para treinamento. As configurações são independentes, então você pode permitir a busca e recusar o treinamento.
  • A OpenAI diz que mudanças no robots.txt podem levar cerca de 24 horas para afetar a busca do ChatGPT.
  • O PerplexityBot mostra e cita com links sites nos resultados do Perplexity e, segundo o Perplexity, não é usado para treinar modelos de base.
  • O Google-Extended controla o uso do seu conteúdo para treinamento e embasamento do Gemini; o Google diz que ele não afeta a inclusão nem o ranqueamento na Pesquisa Google.
  • Firewalls e CDNs podem bloquear crawlers mesmo quando o robots.txt os permite; é por isso que o Perplexity publica faixas de IP e instruções de WAF.

Um número surpreendente de sites de exportadores é invisível para a busca por IA por um motivo banal: os crawlers não conseguem entrar. Em algum momento dos últimos dois anos, alguém adicionou uma regra de "bloquear bots de IA", ativou a proteção contra bots de uma CDN ou instalou um plugin de segurança. O site continua funcionando para as pessoas, então ninguém percebe. Depois a equipe passa meses reescrevendo conteúdo que os mecanismos de busca por IA nunca tiveram permissão para ler.

Este guia é uma verificação técnica de 30 minutos para sites de fábricas e B2B. Ele não vai tornar você visível sozinho, mas, se o acesso estiver quebrado, nada mais que você fizer vai contar.

Quais crawlers de IA servem para busca e quais servem para treinamento?

A ideia principal: as empresas de IA separam o bot que encontra páginas para mostrar nas respostas do bot que coleta conteúdo para treinar modelos. Você pode fazer escolhas diferentes para cada um.

EmpresaUser agentFinalidade (segundo a documentação da empresa)
OpenAIOAI-SearchBotMostra sites nos recursos de busca do ChatGPT. Os sites que o bloqueiam não aparecem nas respostas de busca do ChatGPT, embora ainda possam aparecer como links de navegação.
OpenAIGPTBotRastreia conteúdo que pode ser usado para treinar os modelos de base da OpenAI. Bloqueá-lo sinaliza que o conteúdo não deve ser usado para treinamento.
OpenAIChatGPT-UserVisita páginas em certas ações do usuário. A OpenAI diz que as regras do robots.txt podem não se aplicar e que ele não é usado para decidir o que aparece na busca.
PerplexityPerplexityBotMostra e cita com links sites nos resultados de busca do Perplexity; não é usado para rastrear conteúdo para modelos de base de IA.
PerplexityPerplexity-UserBusca páginas quando um usuário faz uma pergunta; em geral ignora o robots.txt porque foi um usuário que pediu o acesso.
GoogleGoogle-ExtendedUm token do robots.txt que controla se o conteúdo rastreado pelo Google pode ser usado para treinamento e embasamento do Gemini. Ele não afeta a inclusão nem o ranqueamento na Pesquisa Google.

Os recursos de IA do próprio Google na Pesquisa funcionam de outro jeito. As orientações do Google dizem que a IA está integrada à Pesquisa, então as regras do robots.txt para o Googlebot são o controle de como um site é rastreado para a Pesquisa, incluindo o AI Overviews e o AI Mode. Bloquear o Googlebot para "sair da IA" também tiraria você dos resultados de busca comuns.

O que o robots.txt do site de uma fábrica deve dizer?

Para a maioria dos fabricantes exportadores, o objetivo é ser encontrado, então permita os crawlers de busca. Permitir ou não os crawlers de treinamento é uma decisão de negócio; recusá-los não tira você da busca por IA. Um ponto de partida simples é este:

Linha do robots.txtEfeito
User-agent: OAI-SearchBot / Allow: /Elegível para as respostas de busca do ChatGPT
User-agent: PerplexityBot / Allow: /Elegível para os resultados do Perplexity
User-agent: Googlebot / Allow: /Pesquisa Google, incluindo AI Overviews e AI Mode
User-agent: Bingbot / Allow: /Busca do Bing
User-agent: GPTBot / Allow ou DisallowSua escolha sobre o treinamento de modelos da OpenAI
User-agent: Google-Extended / Allow ou DisallowSua escolha sobre o treinamento e o embasamento do Gemini
Sitemap: https://www.example.com/sitemap.xmlAjuda os crawlers a encontrar todas as páginas

Mantenha áreas privadas, como um portal de revendedores ou listas de preços, longe dos crawlers com proteção por login, não só com o robots.txt. A documentação do Google sobre robots.txt é explícita: o robots.txt não é um mecanismo para manter uma página fora do Google; para isso, use noindex ou proteção por senha.

Por que um firewall pode bloquear crawlers de IA mesmo quando o robots.txt os permite?

O robots.txt é um pedido; sua CDN, seu firewall ou seu plugin de segurança são um portão. Muitos recursos de proteção contra bots desafiam ou bloqueiam crawlers desconhecidos antes mesmo de eles lerem o robots.txt. O Google inclui "garantir que o rastreamento seja permitido no robots.txt e por qualquer CDN ou infraestrutura de hospedagem" entre os fundamentos para os recursos de IA. O Perplexity vai além e publica listas de endereços IP e regras passo a passo de firewall de aplicações web para que os donos de sites possam permitir seus bots. A OpenAI também publica faixas de IP dos seus crawlers.

Faça três perguntas a quem cuida da sua hospedagem: a proteção contra bots está ativada, ela tem uma lista de permissões e os crawlers de busca acima estão nela? Depois procure nos logs do servidor os user agents da tabela. Se eles aparecem e recebem erros, ou nunca aparecem, você encontrou o problema.

Como verificar o acesso em 30 minutos?

  1. Abra seusite.com/robots.txt. Procure Disallow: / sob User-agent: * ou sob qualquer user agent de IA.
  2. Confira a CDN ou o firewall em busca de proteção contra bots, bloqueio por país ou opções de "AI scraper".
  3. Pesquise nos logs do servidor por OAI-SearchBot, PerplexityBot e Googlebot e pelos códigos de status que eles recebem.
  4. Confirme a indexação no Google Search Console das suas principais páginas de produto e de capacidade.
  5. Teste de novo no ChatGPT depois de um dia. A OpenAI diz que mudanças no robots.txt podem levar cerca de 24 horas para se refletir na busca.
  6. Registre a política por escrito, para que a próxima atualização de segurança não a desfaça.

Permitir os crawlers significa que a IA vai recomendar você?

Não. O acesso torna você elegível; não faz você ser escolhido. Quando os crawlers conseguem ler seu site, as próximas perguntas são se suas páginas respondem às perguntas dos compradores com fatos específicos e se as informações da sua empresa são consistentes em toda a web. Mas o acesso vem primeiro. É a correção mais barata do GEO e a mais esquecida.

GEO Autopilot · Social Autopilot · Ads

Como a ToucHigh ajuda

O GEO Autopilot da ToucHigh começa todo projeto com esse tipo de verificação:

  • uma auditoria de onde o seu site está invisível no ChatGPT, no Perplexity, no Google AI e no Gemini;
  • correções escritas e publicadas para você, incluindo páginas, respostas e dados de entidade;
  • participação nas citações de IA acompanhada depois, para você ver o efeito de abrir o portão.

Agende uma conversa estratégica de 30 minutos e veremos ao vivo a visibilidade do seu site em IA.

Fábricas e fornecedores B2B: veja como a ToucHigh cuida da visibilidade de fornecedores na busca por IA. Quer transformar visibilidade em pipeline? Conheça o ToucHigh PRO, nosso serviço de prospecção com a estratégia primeiro.

Perguntas frequentes

Se bloquearmos o GPTBot, o ChatGPT vai deixar de mostrar nosso site?

Não, segundo a OpenAI. O GPTBot define se o conteúdo pode ser usado para treinar modelos; o OAI-SearchBot define a presença na busca do ChatGPT. As duas configurações são independentes, então você pode bloquear o GPTBot e ainda permitir o OAI-SearchBot.

Bloquear o Google-Extended nos tira do AI Overviews?

Não. O Google diz que o Google-Extended não afeta a inclusão na Pesquisa Google, e o AI Overviews e o AI Mode fazem parte da Pesquisa, controlados pelo Googlebot. Para limitar o que aparece nos snippets e nos recursos de IA, o Google indica nosnippet, data-nosnippet, max-snippet ou noindex.

Precisamos de um arquivo llms.txt para sermos encontrados pela IA?

O Google diz que você não precisa de novos arquivos legíveis por máquina nem de arquivos de texto para IA para aparecer nos recursos de IA dele. Alguns sites publicam o llms.txt como um resumo extra para ferramentas de IA, mas ele não substitui páginas rastreáveis.

Quanto tempo depois de corrigir o robots.txt veremos uma mudança?

A OpenAI diz que os sistemas dela podem levar cerca de 24 horas para se ajustar a uma atualização do robots.txt na busca. Ser citado ainda depende do seu conteúdo, então meça ao longo das semanas seguintes, não no dia seguinte.

Fontes

  1. Overview of OpenAI Crawlers — OpenAI
  2. Perplexity Crawlers — Perplexity
  3. Google's common crawlers (Google-Extended) — Google Search Central
  4. Introduction to robots.txt — Google Search Central
  5. AI features and your website — Google Search Central

Por que escrevemos istoEscrevemos isto porque a primeira coisa que verificamos no site de uma fábrica nova é se os crawlers de IA conseguem entrar, e a resposta é "não" com mais frequência do que se imagina.

ToucHigh

Veja onde você está invisível na busca por IA dos EUA

Agende uma conversa gratuita de 30 minutos e faremos ao vivo uma leitura da visibilidade da sua loja em IA.

Agende uma conversa estratégica de 30 min →Entrar na ToucHigh