Robots.txt para bots de IA: GPTBot, OAI-SearchBot y ClaudeBot

Para bloquear GPTBot en robots.txt basta con un grupo User-agent: GPTBot seguido de Disallow: /. La clave es no confundirlo con OAI-SearchBot: GPTBot recoge contenido que puede usarse para entrenar los modelos de OpenAI, mientras que OAI-SearchBot es el que permite que tu web aparezca y se enlace en la búsqueda de ChatGPT. Anthropic separa igual ClaudeBot (entrenamiento) de Claude-SearchBot (búsqueda), y Google y Apple usan un token de control, Google-Extended y Applebot-Extended, que no te saca de sus buscadores. Abajo tienes la tabla de user-agents oficiales, verificada en la documentación de cada empresa en octubre de 2026, y plantillas listas para copiar.

Qué hace cada bot de IA: buscar, entrenar o abrir una página por encargo

Un bot de IA es un programa que descarga páginas web por cuenta de una empresa de inteligencia artificial. OpenAI, Anthropic y Perplexity documentan por separado la función de cada uno de sus bots, y esa función decide qué pierdes si lo bloqueas:

• Indexación para búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Recorren la web para que el asistente pueda mostrar y enlazar tu página cuando responde con búsqueda. Bloquearlos reduce o elimina tu presencia en esas respuestas.
• Recogida para entrenamiento (GPTBot, ClaudeBot). Descargan contenido que puede acabar en los datos con los que se entrenan futuros modelos. Bloquearlos es la forma de pedir que tu contenido quede fuera; OpenAI lo trata como un ajuste independiente del de búsqueda.
• Visitas pedidas por un usuario (ChatGPT-User, Claude-User, Perplexity-User). Cuando alguien hace una pregunta, el asistente puede abrir una página concreta para responderla. No recorren la web por su cuenta, y OpenAI y Perplexity avisan de que pueden no aplicar robots.txt.

Google y Apple siguen otro modelo: en lugar de un bot de entrenamiento aparte, usan un token de control (Google-Extended, Applebot-Extended) que no rastrea nada, sino que indica cómo puede usarse lo que descarga su rastreador principal. En el caso de Google-Extended, eso incluye el grounding, es decir, que Gemini reciba contenido del índice de la Búsqueda de Google al responder.

Tabla de user-agents oficiales

Esta tabla resume lo que dice la documentación oficial de cada empresa, consultada en octubre de 2026. El «token» es el nombre que se escribe en la línea User-agent de robots.txt.

Detalles de cada fuente:

• OpenAI explica que cada ajuste es independiente, que si permites GPTBot y OAI-SearchBot puede usar un mismo rastreo para ambos fines y que la búsqueda tarda unas 24 horas en reflejar un cambio en robots.txt. Para aparecer en sus resultados recomienda permitir OAI-SearchBot y las peticiones desde sus rangos de IP publicados (OpenAI, rastreadores).
• Anthropic indica que hay que repetir las reglas en el robots.txt de cada subdominio, que bloquear sus direcciones IP puede no funcionar de forma fiable y que respeta la directiva no estándar Crawl-delay (Anthropic).
• Perplexity publica las cadenas completas de sus agentes y sus rangos de IP, y avisa de que los cambios pueden tardar hasta 24 horas (Perplexity). Para el resto de factores, consulta cómo aparecer en Perplexity.
• Common Crawl avisa de que hay rastreadores que se hacen pasar por CCBot y explica cómo verificar por DNS inverso los auténticos (Common Crawl).

Cómo lee un bot tu robots.txt (y un error fácil de cometer)

Robots.txt es un archivo de texto en la raíz del dominio con grupos de reglas, y su funcionamiento está estandarizado en el RFC 9309 (septiembre de 2022). Conviene tener claras cuatro reglas del estándar (RFC 9309):

1. El nombre del bot no distingue mayúsculas. GPTBot y gptbot son lo mismo.
2. Si un bot tiene su propio grupo, ignora el grupo *. El grupo comodín solo se aplica a los bots que no encuentran un grupo con su nombre. Si varios grupos coinciden con el mismo bot, se combinan.
3. Gana la regla más específica. Entre Allow y Disallow, se aplica la que coincide con más caracteres de la ruta; si empatan, el estándar recomienda aplicar Allow.
4. No es un mecanismo de seguridad. El RFC dice expresamente que estas reglas no son una forma de autorización de acceso, y advierte de que las rutas que listas en robots.txt quedan expuestas públicamente.

La regla 2 es la más fácil de pasar por alto. Mira este archivo:

User-agent: *
Disallow: /admin/
Disallow: /area-clientes/

User-agent: OAI-SearchBot
Allow: /

La intención era «todos fuera de /admin/, y OAI-SearchBot bienvenido». El resultado real: OAI-SearchBot tiene su propio grupo, así que ignora el grupo * y puede rastrear /admin/ y /area-clientes/. Si nombras un bot, repite dentro de su grupo las exclusiones que quieras mantener:

User-agent: *
Disallow: /admin/
Disallow: /area-clientes/

User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /area-clientes/

En este segundo archivo no hace falta Allow: /: todo lo que no está prohibido está permitido. Un grupo puede tener varias líneas User-agent seguidas que comparten las mismas reglas, lo que simplifica las plantillas siguientes.

Plantillas de robots.txt según tu objetivo

Las plantillas usan example.com y dos rutas privadas de ejemplo (/admin/ y /area-clientes/): sustitúyelas por las tuyas y repítelas en cada grupo con nombre.

Plantilla 1: máxima visibilidad en IA

Si quieres aparecer en ChatGPT, Claude, Perplexity, Gemini y Google, no hace falta nombrar a ningún bot. Basta con no bloquearlos:

User-agent: *
Disallow: /admin/
Disallow: /area-clientes/

Sitemap: https://www.example.com/sitemap.xml

Con este archivo, todos los rastreadores de la tabla pueden acceder al contenido público, incluidos los de entrenamiento.

Plantilla 2: visible en búsquedas de IA, fuera del entrenamiento

Sirve si quieres que tu contenido aparezca y se enlace en las respuestas, pero no que se use para entrenar modelos:

# Entrenamiento de modelos y archivo de Common Crawl: bloqueados
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Resto de bots, incluidos los de búsqueda de IA
User-agent: *
Disallow: /admin/
Disallow: /area-clientes/

Sitemap: https://www.example.com/sitemap.xml

OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot y Applebot no tienen grupo propio, así que siguen el grupo *: pueden rastrear todo salvo las rutas privadas.

Hemos dejado fuera Google-Extended a propósito: bloquearlo no te saca de la búsqueda de Google, pero según Google también controla el grounding en las apps de Gemini. Si Gemini es importante para ti, valóralo antes de añadir esta línea al primer grupo:

User-agent: Google-Extended

Plantilla 3: bloquear todos los bots y tokens específicos de IA

Si no quieres que tu contenido se use ni para entrenar ni para responder, hasta donde llega robots.txt, bloquea también los bots de búsqueda y los de usuario:

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Disallow: /area-clientes/

Sitemap: https://www.example.com/sitemap.xml

Consecuencias: según OpenAI, las webs que bloquean OAI-SearchBot no se muestran en las respuestas de búsqueda de ChatGPT, aunque pueden seguir apareciendo como enlaces de navegación; Anthropic avisa de que bloquear Claude-SearchBot y Claude-User puede reducir tu visibilidad en Claude, y Perplexity recomienda permitir PerplexityBot para aparecer en sus resultados. Los agentes que pueden ignorar robots.txt seguirán entrando (lo vemos más abajo). Y no sales de AI Overviews ni de AI Mode, que dependen de Googlebot y de las directivas de fragmento, ni de las respuestas generadas de Siri, para las que Apple remite a nosnippet.

Plantilla 4: bloquear solo algunas secciones

Puedes, por ejemplo, cerrar un archivo de informes de pago solo a los bots de entrenamiento:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /informes/
Disallow: /admin/
Disallow: /area-clientes/

User-agent: *
Disallow: /admin/
Disallow: /area-clientes/

Sitemap: https://www.example.com/sitemap.xml

Fíjate en que el primer grupo repite las rutas privadas: sin ellas, esos bots podrían entrar en /admin/ porque ya no leen el grupo *.

Google-Extended: lo que controla y lo que no

Google-Extended es un token de control, no un rastreador. Según la documentación de Google (rastreadores comunes de Google):

• Controla si el contenido puede usarse para entrenar futuras generaciones de modelos Gemini (los que dan servicio a las apps de Gemini y a la API de Gemini en Vertex AI) y para el grounding en las apps de Gemini y en Grounding with Google Search de Vertex AI.
• No afecta a la inclusión en la búsqueda de Google ni es una señal de posicionamiento.

¿Y AI Overviews y AI Mode? Forman parte de la búsqueda de Google, así que dependen de Googlebot. Google indica que, para limitar lo que se muestra de tus páginas en la búsqueda, uses nosnippet, data-nosnippet, max-snippet o noindex (Google, funciones de IA). La documentación de la metaetiqueta robots precisa que nosnippet impide que el contenido se use como entrada directa para AI Overviews y AI Mode, y que max-snippet limita cuánto se puede usar (Google, metaetiqueta robots). Ten en cuenta que estas directivas también recortan tus fragmentos en los resultados normales.

Apple: Applebot y Applebot-Extended

Apple separa también rastreo y uso. Applebot es el rastreador cuyos datos alimentan funciones como Spotlight, Siri y Safari, y respeta robots.txt. Applebot-Extended no rastrea páginas: es la regla que te permite excluir tu contenido del entrenamiento de los modelos fundacionales de IA generativa de Apple. Apple aclara que las páginas que bloquean Applebot-Extended pueden seguir apareciendo en sus resultados de búsqueda y que esa regla no se tiene en cuenta para el posicionamiento (Apple).

La misma página añade dos matices que afectan a tus plantillas:

• Si tu robots.txt no menciona a Applebot pero sí a Googlebot, Applebot sigue las reglas del grupo de Googlebot.
• Los datos de Applebot pueden usarse como contexto cuando la IA de Apple genera respuestas, por ejemplo a preguntas de conocimiento general en Siri. Para excluir un contenido de esas respuestas, Apple remite a la metaetiqueta nosnippet, no a robots.txt.

Por eso en la plantilla 2 se bloquea Applebot-Extended y no Applebot: según Apple, permitir Applebot es lo que deja que tu contenido aparezca en los resultados de Spotlight, Siri y Safari.

Microsoft Copilot y Bing

En Microsoft, el control documentado no pasa por un token de IA en robots.txt: según sus directrices para webmasters, Bing y Copilot comparten la misma base de rastreo, indexación y posicionamiento, y Bing desaconseja bloquear Bingbot (Bing, directrices para webmasters). El uso en IA se regula con metaetiquetas (Bing, metaetiquetas robots):

• noarchive: el contenido no se usa ni se enlaza en Copilot ni en los resultados de grounding, y no sirve para entrenar los modelos de IA generativa de Microsoft.
• nocache: Copilot solo usa la URL, el título y el fragmento, y solo esos datos se usan para entrenamiento. Si una página lleva las dos etiquetas, Bing aplica nocache.
• noindex: la URL no aparece en la búsqueda de Bing, en Copilot ni en los resultados de su API de grounding.

Cuando Bing presentó noarchive y nocache para su chat, en septiembre de 2023, aseguró que las páginas con esas etiquetas siguen apareciendo en sus resultados de búsqueda (Bing Webmaster Blog, Fabrice Canel). Para aparecer en Copilot, consulta cómo aparecer en Claude y Microsoft Copilot.

Los agentes que pueden ignorar robots.txt

Robots.txt está pensado para rastreadores automáticos; cuando es un usuario quien pide la página, varias empresas no lo aplican:

• ChatGPT-User: OpenAI indica que las reglas de robots.txt pueden no aplicarse porque las acciones las inician los usuarios.
• Perplexity-User: Perplexity dice que, como la petición la hace un usuario, este agente en general ignora robots.txt.
• Agentes de Google activados por usuarios (Google los llama user-triggered fetchers; por ejemplo, Google-Agent o Google Read Aloud): Google dice que en general ignoran robots.txt por el mismo motivo (Google, fetchers activados por usuarios), a diferencia de sus rastreadores comunes, que lo respetan siempre que rastrean de forma automática (Google, rastreadores comunes).
• Claude-User es la excepción: Anthropic lo trata como bloqueable con robots.txt.

Si necesitas impedir de verdad el acceso a un contenido, robots.txt no basta. Opciones reales:

1. Autenticación para todo lo privado. Es lo que recomienda el propio RFC 9309 para controlar el acceso a una ruta.
2. Reglas en el cortafuegos o en la CDN (red de distribución de contenidos) por agente de usuario y por IP. OpenAI, Perplexity, Google, Apple y Common Crawl publican sus rangos de IP en archivos JSON, lo que permite comprobar que una petición es suya y no de un impostor.
3. Verificación por DNS inverso para descartar bots falsos que usan nombres conocidos. Google, Apple y Common Crawl explican cómo hacerlo con sus rastreadores.

Cómo comprobar que tus reglas funcionan

Una vez publicado el archivo, verifica tres cosas:

1. Que el archivo es accesible en https://tu-dominio/robots.txt y devuelve un código 200. Según el RFC 9309, un error 4xx permite al rastreador acceder a todo y un error 5xx le obliga a asumir que todo está prohibido. Repítelo en cada subdominio, porque cada uno tiene su propio robots.txt.
2. Que lo has escrito bien. Comprueba tus grupos contra la regla del grupo * y, para la parte de Google, revisa el informe de robots.txt de Search Console, que muestra los archivos que ha encontrado Google y sus errores.
3. Que los bots se comportan como esperas. Espera al menos 24 horas (el plazo que citan OpenAI y Perplexity, y el máximo de caché que recomienda el RFC 9309) y busca cada user-agent en los registros del servidor: los bots que has bloqueado no deberían pedir las rutas prohibidas, salvo los agentes de usuario que pueden ignorar robots.txt. Te explicamos cómo hacerlo en logs del servidor: cómo ver qué bots de IA visitan tu web.

Errores frecuentes

• Bloquear OAI-SearchBot creyendo que es el bot de entrenamiento. El de entrenamiento es GPTBot; OAI-SearchBot es el que permite que tu web aparezca en las respuestas de búsqueda de ChatGPT.
• Bloquear Applebot en lugar de Applebot-Extended, con lo que tu contenido puede dejar de aparecer en Spotlight, Siri y Safari.
• Esperar que Google-Extended te saque de AI Overviews. No lo hace; para eso existen las directivas de fragmento.
• Olvidar repetir las rutas privadas dentro de los grupos con nombre.
• Usar robots.txt para ocultar información sensible. El archivo es público y no impide el acceso.
• Copiar listas de bots de hace años sin comprobarlas: los nombres cambian y aparecen agentes nuevos. Por ejemplo, Google ha sustituido el agente Google-NotebookLM por Google-GeminiNotebook. Revisa la documentación oficial cada pocos meses.

Antes de bloquear, mide

Bloquear bots de búsqueda de IA es una decisión de negocio: protege tu contenido, pero te resta presencia en las respuestas donde tus clientes comparan opciones. Antes de decidir, conviene saber cuánto apareces hoy y qué fuentes usan las IA en tu sector. DeepMention, nuestra herramienta, monitoriza cada día tu marca en ChatGPT, Gemini y Google AI Mode con los prompts (las preguntas que se hacen a la IA) que eliges, desde tu país, y muestra tu visibilidad frente a la competencia y las fuentes que citan esas respuestas. No cubre Perplexity, Claude ni Copilot. Puedes probarlo gratis 7 días. Si quieres situar esta decisión dentro de una estrategia completa, empieza por la guía de GEO o por qué es el GEO.

Fuentes

• OpenAI, «Overview of OpenAI Crawlers»
• Anthropic, «Does Anthropic crawl data from the web, and how can site owners block the crawler?»
• Perplexity, «Perplexity Crawlers»
• Google, «List of Google's common crawlers» (Google-Extended)
• Google, «List of Google user-triggered fetchers»
• Google Search Central, «AI features and your website»
• Google Search Central, «Robots meta tag, data-nosnippet, and X-Robots-Tag specifications»
• Ayuda de Search Console, «robots.txt report»
• Apple, «About Applebot»
• Common Crawl, «CCBot»
• Koster, M., Illyes, G., Zeller, H. y Sassman, L., «RFC 9309: Robots Exclusion Protocol», septiembre de 2022
• Bing Webmaster Tools, «Bing Webmaster Guidelines»
• Bing Webmaster Tools, «Robots meta tags and attributes that Bing supports»
• Fabrice Canel, «Announcing new options for webmasters to control usage of their content in Bing Chat», Bing Webmaster Blog, 22 de septiembre de 2023

Preguntas frecuentes

¿Cómo bloqueo GPTBot sin dejar de salir en ChatGPT?

Añade a robots.txt un grupo «User-agent: GPTBot» con «Disallow: /» y no bloquees OAI-SearchBot. GPTBot recoge contenido que puede usarse para entrenar los modelos de OpenAI; OAI-SearchBot es el que OpenAI usa para la búsqueda de ChatGPT. OpenAI trata ambos ajustes por separado.

¿Bloquear Google-Extended me saca de Google o de AI Overviews?

No. Google dice que Google-Extended no afecta a la inclusión en la búsqueda de Google ni es una señal de posicionamiento. Controla el uso del contenido para entrenar modelos Gemini y para el grounding en las apps de Gemini y en Vertex AI. Para limitar lo que se muestra de tus páginas en AI Overviews y AI Mode, Google remite a nosnippet, data-nosnippet, max-snippet y noindex.

¿Cuál es la diferencia entre un bot de entrenamiento y uno de búsqueda?

Un bot de entrenamiento recoge contenido que puede usarse para entrenar futuros modelos (GPTBot, ClaudeBot). Un bot de búsqueda indexa páginas para mostrarlas y enlazarlas en las respuestas (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Bloquear el primero no te saca de las respuestas con búsqueda; bloquear el segundo reduce o elimina tu presencia en ellas.

¿Los bots de IA respetan siempre robots.txt?

Los rastreadores automáticos de OpenAI, Anthropic, Perplexity, Google y Apple dicen respetarlo. Los agentes que visitan una página porque un usuario lo pide, como ChatGPT-User, Perplexity-User o los agentes de Google activados por usuarios, pueden no aplicarlo. Para bloquearlos de verdad necesitas reglas en el servidor o en el cortafuegos.

¿Cuánto tarda en aplicarse un cambio en robots.txt?

OpenAI indica que sus sistemas de búsqueda pueden tardar unas 24 horas en ajustarse tras un cambio, y Perplexity habla de hasta 24 horas. Comprueba después en los registros del servidor que los bots se comportan como esperas.

Artículos relacionados

• Cómo escribir contenido que las IA citen: guía con ejemplos

  Cómo escribir contenido que ChatGPT, Gemini y AI Mode citen: respuestas directas, datos con fuente, experiencia propia y ejemplos de párrafos antes y después.

  13 de octubre de 2026

• Datos estructurados y schema para la búsqueda con IA (2026)

  Qué aporta el schema markup a la búsqueda con IA en 2026, qué dice Google, qué rich results siguen activos y ejemplos JSON-LD de Organization, Product, Article.

  13 de octubre de 2026

• GEO para clínicas y despachos: cómo aparecer en ChatGPT y Gemini

  Cómo conseguir que ChatGPT, Gemini y Google AI Mode recomienden tu clínica, despacho o asesoría, qué fuentes cuidar y qué limita la normativa española.

  13 de octubre de 2026