robots.txt y robots de IA: ¿a cuáles dejar pasar?

El archivo robots.txt dice a los robots lo que pueden recorrer en tu sitio. Con la IA, lleva una decisión nueva: dejar que tus páginas sirvan para entrenar modelos, dejar que sirvan para responder a las preguntas de la gente, las dos cosas, o ninguna.

Buena noticia: en la mayoría de las empresas, estos dos usos pasan por robots distintos. Puedes, pues, elegir uno sin el otro.

Lo que hace robots.txt

El protocolo está normalizado desde septiembre de 2022 por el IETF, en la RFC 9309. Lo esencial:

• el archivo se llama robots.txt, en minúsculas, y está en la raíz del sitio: tu-dominio.com/robots.txt;
• se lee por grupos: una o varias líneas User-agent, que nombran a los robots, y luego líneas Allow y Disallow, cada una seguida de una ruta;
• sus reglas son peticiones. La norma precisa que robots.txt no concede ninguna autorización de acceso: un robot honesto lo respeta, un robot malicioso puede ignorarlo;
• es público. No pongas nunca en él una carpeta que quieras mantener en secreto: se la señalarías a todo el mundo.

Google recuerda también que robots.txt regula el rastreo. Para mantener una página fuera de sus resultados, hace falta una etiqueta noindex o una contraseña, porque una página prohibida puede aparecer en ellos de todos modos cuando otros sitios la enlazan.

Tres tipos de robots de IA

1. Los robots de entrenamiento recogen páginas que pueden servir para entrenar modelos futuros. Bloquearlos equivale a rechazar ese uso.
2. Los robots de búsqueda indexan las páginas para que el asistente pueda citarlas, con un enlace. Bloquearlos te saca de esas respuestas.
3. Las visitas a petición ocurren cuando un usuario pide al asistente que lea una página. OpenAI, Perplexity y Meta advierten que robots.txt puede no aplicarse a estas visitas, provocadas por una persona. Anthropic, al contrario, dice respetar robots.txt para todos sus robots.

Dos nombres merecen una explicación. Google-Extended y Applebot-Extended son simples nombres que usar en robots.txt: ningún robot con ese nombre visita tu sitio. Dicen lo que Google y Apple pueden hacer con las páginas que Googlebot y Applebot ya han recorrido.

• Google-Extended cubre el entrenamiento de los modelos Gemini y el fundamento de las respuestas de la aplicación Gemini. No toca ni la Búsqueda de Google ni el posicionamiento. Rechazarlo no te saca de los AI Overviews, que pasan por Googlebot, pero puede apartarte de la aplicación Gemini.
• Applebot-Extended cubre el entrenamiento de los modelos de Apple. Rechazarlo deja tus páginas localizables por Spotlight, Siri y Safari, y Apple precisa que esta elección no cuenta en su clasificación.

Las reglas que pillan desprevenido

• Un robot que encuentra su nombre ignora el grupo general. El grupo que empieza por un asterisco solo vale para los robots sin grupo a su nombre. Si escribes un grupo para GPTBot, copia en él las prohibiciones generales que deban aplicársele también.
• Gana la regla más precisa. Entre Allow y Disallow, prevalece la ruta más larga; en caso de empate, pasa Allow.
• Un archivo roto lo bloquea todo. Si robots.txt responde con un error del servidor, la norma pide a los robots que consideren todo el sitio como prohibido. Si simplemente no existe, todo está permitido.
• Un cambio tarda hasta un día. La norma permite a los robots conservar el archivo en memoria hasta 24 horas, y OpenAI y Perplexity anuncian ambos ese plazo.
• Las mayúsculas no cuentan en el nombre de un robot, pero sí en las rutas: /Photos/ y /photos/ son dos rutas distintas.

Ejemplos para copiar

Permitirlo todo, IA incluida. Bastan dos líneas:

User-agent: *
Allow: /

Rechazar el entrenamiento, seguir en las respuestas. Un grupo puede nombrar varios robots:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
Disallow: /

Los robots de búsqueda no aparecen: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot y Applebot siguen el grupo general, o no tienen ninguna regla si no lo hay. Quita Google-Extended de la lista si quieres seguir en las respuestas de la aplicación Gemini.

Rechazar un solo robot de búsqueda, por ejemplo para probar su efecto:

User-agent: PerplexityBot
Disallow: /

Guarda el archivo en texto plano, codificado en UTF-8, en la raíz del sitio.

Los ajustes de tu alojamiento o de tu CDN

Un robots.txt abierto no sirve de nada si el servicio que entrega tu sitio rechaza a los robots antes incluso de que lo lean. Google aconseja comprobar que el rastreo está permitido en robots.txt, pero también por el CDN y el alojamiento.

Cloudflare, un CDN muy extendido, documenta con precisión sus ajustes:

• El 1 de julio de 2025, empezó a bloquear por defecto a los robots de IA que no tenían el permiso del sitio, y a preguntar a cada dominio nuevo, al darse de alta, si quería dejarlos pasar.
• Desde el 15 de septiembre de 2026, sus ajustes distinguen la búsqueda, los agentes y el entrenamiento. Cada uno puede permitirse, bloquearse en todas partes, o bloquearse solo en las páginas que muestran publicidad.
• Para un dominio nuevo, Cloudflare propone dos preajustes. Sin publicidad, todo está permitido. Con publicidad, el entrenamiento se rechaza, los agentes se bloquean en las páginas que la muestran, y la búsqueda sigue permitida.
• Su robots.txt gestionado puede añadir líneas al principio de tu propio archivo cuando activas estas preferencias.

Si tu sitio pasa por Cloudflare, abre estos ajustes y comprueba que la búsqueda está permitida. Con otro alojamiento, busca una opción que mencione los robots o la IA, y pregunta al soporte en caso de duda.

El buen ajuste para un negocio local

• Deja pasar a los robots de búsqueda. Son ellos los que hacen citar tu dirección, tus horarios y tus precios en las respuestas.
• El entrenamiento es una cuestión de principios. En OpenAI, Anthropic, Apple y Meta, rechazarlo no cambia nada en la búsqueda. En Google, rechazar Google-Extended te aleja también de la aplicación Gemini.
• Permite las visitas a petición: detrás de ellas, hay una persona que quiere leer tu página.
• Relee tu robots.txt después de cada cambio de alojamiento o de sitio, y vigila en Search Console las páginas bloqueadas por error.

En resumen: separa el entrenamiento de la búsqueda. Deja pasar a OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot y Applebot, rechaza los robots de entrenamiento si lo deseas, y comprueba que tu alojamiento no bloquea nada sin que lo sepas.