¿Tu web bloquea a ChatGPT? robots.txt para rastreadores de IA en webs B2B
Antes que el contenido, revisa el acceso. Muchas webs de exportadores bloquean por accidente a los rastreadores de búsqueda con IA mediante robots.txt, una CDN o un plugin de seguridad. Así se distinguen los bots de búsqueda de los de entrenamiento y esto es lo que conviene permitir.

Nuestro equipo de TI bloqueó los «bots de IA» en la web el año pasado. ¿Puede ser esa la razón por la que ChatGPT nunca muestra nuestra fábrica? ¿Qué deberíamos permitir?
Respuesta breveEs bastante posible. Las empresas de IA usan bots distintos para la búsqueda y para el entrenamiento de modelos. OpenAI dice que los sitios que excluyen a OAI-SearchBot no se muestran en las respuestas de búsqueda de ChatGPT, mientras que GPTBot solo rige el entrenamiento. Permite los rastreadores de búsqueda (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot), decide por separado sobre los bots de entrenamiento como GPTBot y Google-Extended, y comprueba que tu CDN o tu firewall no los bloquea, diga lo que diga robots.txt.
Ideas clave
- OAI-SearchBot de OpenAI muestra sitios en la búsqueda de ChatGPT; GPTBot es para entrenamiento. Los ajustes son independientes, así que puedes permitir la búsqueda y rechazar el entrenamiento.
- OpenAI dice que los cambios en robots.txt pueden tardar unas 24 horas en afectar a la búsqueda de ChatGPT.
- PerplexityBot muestra y enlaza sitios en los resultados de Perplexity y, según Perplexity, no se usa para entrenar modelos fundacionales.
- Google-Extended controla el uso de tu contenido para el entrenamiento y la fundamentación de Gemini; Google dice que no afecta a la inclusión ni al posicionamiento en Google Search.
- Los firewalls y las CDN pueden bloquear a los rastreadores aunque robots.txt los permita; por eso Perplexity publica sus rangos de IP e instrucciones para WAF.
Un número sorprendente de webs de exportadores son invisibles para la búsqueda con IA por un motivo aburrido: los rastreadores no pueden entrar. En algún momento de los últimos dos años, alguien añadió una regla para «bloquear bots de IA», activó la protección contra bots de una CDN o instaló un plugin de seguridad. La web sigue funcionando para las personas, así que nadie se da cuenta. Después el equipo se pasa meses reescribiendo contenido que los buscadores de IA nunca tuvieron permiso para leer.
Esta guía es una revisión técnica de 30 minutos para webs de fábricas y B2B. No te hará visible por sí sola, pero si el acceso está roto, nada de lo que hagas contará.
¿Qué rastreadores de IA son para búsqueda y cuáles para entrenamiento?
La idea clave: las empresas de IA separan el bot que encuentra páginas para mostrarlas en las respuestas del bot que recoge contenido para entrenar modelos. Puedes tomar decisiones distintas para cada uno.
| Empresa | User agent | Finalidad (según la documentación de cada empresa) |
|---|---|---|
| OpenAI | OAI-SearchBot | Muestra webs en las funciones de búsqueda de ChatGPT. Los sitios excluidos no aparecen en las respuestas de búsqueda de ChatGPT, aunque pueden seguir apareciendo como enlaces de navegación. |
| OpenAI | GPTBot | Rastrea contenido que puede usarse para entrenar los modelos fundacionales de OpenAI. Bloquearlo indica que el contenido no debe usarse para entrenamiento. |
| OpenAI | ChatGPT-User | Visita páginas para determinadas acciones de los usuarios. OpenAI dice que las reglas de robots.txt pueden no aplicarse y que no se usa para decidir qué aparece en la búsqueda. |
| Perplexity | PerplexityBot | Muestra y enlaza webs en los resultados de búsqueda de Perplexity; no se usa para rastrear contenido para modelos fundacionales de IA. |
| Perplexity | Perplexity-User | Obtiene páginas cuando un usuario hace una pregunta; en general ignora robots.txt porque es un usuario quien ha pedido la página. |
| Google-Extended | Un token de robots.txt que controla si el contenido que rastrea Google puede usarse para el entrenamiento y la fundamentación de Gemini. No afecta a la inclusión ni al posicionamiento en Google Search. |
Las funciones de IA propias de Google en la búsqueda funcionan de otra manera. La guía de Google dice que la IA está integrada en la búsqueda, así que las reglas de robots.txt para Googlebot son el control de cómo se rastrea un sitio para la búsqueda, incluidos AI Overviews y AI Mode. Bloquear Googlebot para «excluirse de la IA» también te quitaría de los resultados de búsqueda normales.
¿Qué debería decir el robots.txt de la web de una fábrica?
Para la mayoría de los fabricantes exportadores el objetivo es que los encuentren, así que permite los rastreadores de búsqueda. Permitir o no los rastreadores de entrenamiento es una decisión de negocio; rechazarlos no te saca de la búsqueda con IA. Un punto de partida sencillo sería este:
| Línea de robots.txt | Efecto |
|---|---|
User-agent: OAI-SearchBot / Allow: / | Puede aparecer en las respuestas de búsqueda de ChatGPT |
User-agent: PerplexityBot / Allow: / | Puede aparecer en los resultados de Perplexity |
User-agent: Googlebot / Allow: / | Google Search, incluidos AI Overviews y AI Mode |
User-agent: Bingbot / Allow: / | Búsqueda de Bing |
User-agent: GPTBot / Allow o Disallow | Tu decisión sobre el entrenamiento de modelos de OpenAI |
User-agent: Google-Extended / Allow o Disallow | Tu decisión sobre el entrenamiento y la fundamentación de Gemini |
Sitemap: https://www.example.com/sitemap.xml | Ayuda a los rastreadores a encontrar todas las páginas |
Mantén las zonas privadas, como un portal para distribuidores o las listas de precios, fuera del alcance de los rastreadores con protección por inicio de sesión, no solo con robots.txt. La documentación de Google sobre robots.txt deja claro que robots.txt no es un mecanismo para mantener una página fuera de Google; para eso usa noindex o protección con contraseña.
¿Por qué un firewall puede bloquear a los rastreadores de IA aunque robots.txt los permita?
robots.txt es una petición; tu CDN, tu firewall o tu plugin de seguridad son una puerta. Muchas funciones de protección contra bots ponen a prueba o bloquean a los rastreadores desconocidos antes de que lleguen a leer robots.txt. Google incluye «asegurarse de que el rastreo está permitido en robots.txt y por cualquier CDN o infraestructura de alojamiento» entre sus aspectos básicos para las funciones de IA. Perplexity va más allá y publica listas de direcciones IP y reglas paso a paso para firewalls de aplicaciones web, para que los propietarios de sitios puedan permitir sus bots. OpenAI también publica los rangos de IP de sus rastreadores.
Haz tres preguntas a quien gestione tu alojamiento: ¿está activada la protección contra bots?, ¿tiene una lista de permitidos? y ¿están en ella los rastreadores de búsqueda anteriores? Después revisa los registros del servidor buscando los user agents de la tabla. Si aparecen y reciben errores, o no aparecen nunca, has encontrado el problema.
¿Cómo se comprueba el acceso en 30 minutos?
- Abre tusitio.com/robots.txt. Busca
Disallow: /bajoUser-agent: *o bajo cualquier user agent de IA. - Revisa la CDN o el firewall en busca de protección contra bots, bloqueo por países o interruptores de «scrapers de IA».
- Busca en los registros del servidor OAI-SearchBot, PerplexityBot y Googlebot, y los códigos de estado que reciben.
- Confirma la indexación en Google Search Console de tus páginas clave de producto y de capacidades.
- Vuelve a probar en ChatGPT al cabo de un día. OpenAI dice que los cambios en robots.txt pueden tardar unas 24 horas en reflejarse en la búsqueda.
- Pon la política por escrito, para que la próxima actualización de seguridad no la deshaga.
¿Permitir los rastreadores significa que la IA te recomendará?
No. El acceso te hace elegible; no hace que te elijan. Cuando los rastreadores pueden leer tu web, las siguientes preguntas son si tus páginas responden a las preguntas de los compradores con datos concretos y si la información de tu empresa es coherente en toda la web. Pero el acceso va primero. Es la corrección más barata del GEO y la que más a menudo se pasa por alto.
Cómo ayuda ToucHigh
El GEO Autopilot de ToucHigh empieza cada proyecto con este tipo de revisión:
- una auditoría de dónde es invisible tu web en ChatGPT, Perplexity, Google AI y Gemini;
- correcciones redactadas y publicadas en tu nombre, incluidas páginas, respuestas y datos de entidad;
- seguimiento posterior de la cuota de citas en IA, para que veas el efecto de abrir la puerta.
Reserva una llamada estratégica de 30 minutos y revisaremos en directo la visibilidad de tu web en IA.
Fábricas y proveedores B2B: mira cómo ToucHigh gestiona la visibilidad de proveedores en la búsqueda con IA. ¿Quieres convertir la visibilidad en pipeline? Descubre ToucHigh PRO, nuestro servicio de prospección con la estrategia primero.
Preguntas frecuentes
Si bloqueamos GPTBot, ¿dejará ChatGPT de mostrar nuestra web?
No, según OpenAI. GPTBot determina si el contenido puede usarse para entrenar modelos; OAI-SearchBot determina la aparición en la búsqueda de ChatGPT. Los dos ajustes son independientes, así que puedes bloquear GPTBot y seguir permitiendo OAI-SearchBot.
¿Bloquear Google-Extended nos saca de AI Overviews?
No. Google dice que Google-Extended no afecta a la inclusión en Google Search, y AI Overviews y AI Mode forman parte de la búsqueda, que se controla a través de Googlebot. Para limitar lo que aparece en los fragmentos y en las funciones de IA, Google remite a nosnippet, data-nosnippet, max-snippet o noindex.
¿Necesitamos un archivo llms.txt para que la IA nos encuentre?
Google dice que no necesitas archivos nuevos legibles por máquina ni archivos de texto para IA para aparecer en sus funciones de IA. Algunos sitios publican llms.txt como resumen adicional para herramientas de IA, pero no sustituye a unas páginas rastreables.
¿Cuánto tardaremos en ver un cambio después de arreglar robots.txt?
OpenAI dice que sus sistemas pueden tardar unas 24 horas en adaptarse a una actualización de robots.txt para la búsqueda. Que te citen sigue dependiendo de tu contenido, así que mide durante las semanas siguientes y no al día siguiente.
Fuentes
- Overview of OpenAI Crawlers — OpenAI
- Perplexity Crawlers — Perplexity
- Google's common crawlers (Google-Extended) — Google Search Central
- Introduction to robots.txt — Google Search Central
- AI features and your website — Google Search Central
Por qué escribimos estoEscribimos esto porque lo primero que comprobamos en la web de una fábrica nueva es si los rastreadores de IA pueden entrar, y la respuesta es «no» con más frecuencia de lo que nadie espera.

