robots.txt et robots d’IA : qui laisser passer ?

Le fichier robots.txt dit aux robots ce qu’ils peuvent explorer sur votre site. Avec les IA, il porte une décision nouvelle : laisser vos pages servir à entraîner des modèles, les laisser servir à répondre aux questions des internautes, les deux, ou aucun.

Bonne nouvelle : chez la plupart des éditeurs, ces deux usages passent par des robots différents. Vous pouvez donc choisir l’un sans l’autre.

Ce que fait robots.txt

Le protocole est normalisé depuis septembre 2022 par l’IETF, dans la RFC 9309. L’essentiel :

• le fichier s’appelle robots.txt, en minuscules, et se place à la racine du site : votre-domaine.fr/robots.txt ;
• il se lit par groupes : une ou plusieurs lignes User-agent, qui nomment les robots, puis des lignes Allow (permis) et Disallow (interdit), chacune suivie d’un chemin ;
• ses règles sont des demandes. La norme précise que robots.txt ne donne aucune autorisation d’accès : un robot honnête le respecte, un robot malveillant peut l’ignorer ;
• il est public. N’y listez jamais un dossier que vous voulez garder secret : vous le signaleriez à tout le monde.

Google rappelle aussi que robots.txt règle l’exploration. Pour qu’une page n’apparaisse pas dans ses résultats, il faut une balise noindex ou un mot de passe, car une page interdite peut y figurer quand d’autres sites la lient.

Trois sortes de robots d’IA

1. Les robots d’entraînement collectent des pages qui pourront servir à entraîner de futurs modèles. Les bloquer revient à refuser cet usage.
2. Les robots de recherche indexent des pages pour que l’assistant puisse les citer, avec un lien. Les bloquer vous retire de ces réponses.
3. Les visites à la demande ont lieu quand un utilisateur demande à l’assistant de lire une page. OpenAI, Perplexity et Meta préviennent que robots.txt peut ne pas s’appliquer à ces visites, qu’une personne a déclenchées. Anthropic dit au contraire respecter robots.txt pour tous ses robots.

Deux noms méritent une explication. Google-Extended et Applebot-Extended sont de simples noms à employer dans robots.txt : aucun robot ainsi nommé ne visite votre site. Ils disent ce que Google et Apple peuvent faire des pages que Googlebot et Applebot ont déjà explorées.

• Google-Extended couvre l’entraînement des modèles Gemini et l’appui des réponses de l’application Gemini. Il ne touche ni la recherche Google ni le classement. Le refuser ne vous retire pas des Aperçus IA, qui passent par Googlebot, mais peut vous tenir à l’écart de l’application Gemini.
• Applebot-Extended couvre l’entraînement des modèles d’Apple. Le refuser laisse vos pages trouvables par Spotlight, Siri et Safari, et Apple précise que ce choix ne compte pas dans son classement.

Les règles qui piègent

• Un robot qui trouve son nom ignore le groupe général. Le groupe qui commence par un astérisque ne vaut que pour les robots sans groupe à leur nom. Si vous écrivez un groupe pour GPTBot, recopiez-y les interdits généraux qui doivent aussi le concerner.
• La règle la plus précise gagne. Entre Allow et Disallow, le chemin le plus long l’emporte ; à égalité, Allow passe.
• Un fichier en panne bloque tout. Si robots.txt répond par une erreur du serveur, la norme demande aux robots de considérer le site entier comme interdit. S’il est simplement absent, tout est permis.
• Un changement prend jusqu’à un jour. La norme autorise les robots à garder le fichier en mémoire jusqu’à 24 heures, et OpenAI comme Perplexity annoncent ce délai.
• La casse est libre dans le nom d’un robot, et respectée dans les chemins : /Photos/ et /photos/ sont deux chemins différents.

Des exemples à recopier

Tout permettre, IA comprises. Deux lignes suffisent :

User-agent: *
Allow: /

Refuser l’entraînement, rester dans les réponses. Un même groupe peut nommer plusieurs robots :

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
Disallow: /

Les robots de recherche n’y figurent pas : OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot et Applebot suivent le groupe général, ou n’ont aucune règle s’il n’existe pas. Retirez Google-Extended de la liste si vous voulez rester dans les réponses de l’application Gemini.

Refuser un seul robot de recherche, par exemple pour tester son effet :

User-agent: PerplexityBot
Disallow: /

Enregistrez le fichier en texte brut, encodé en UTF-8, à la racine du site.

Les réglages de votre hébergeur ou de votre CDN

Un robots.txt ouvert ne sert à rien si le service qui distribue votre site refuse les robots avant même qu’ils le lisent. Google conseille de vérifier que l’exploration est permise dans robots.txt, mais aussi par le CDN et l’hébergeur.

Cloudflare, un CDN très répandu, documente précisément ses réglages :

• Le 1er juillet 2025, il a commencé à bloquer par défaut les robots d’IA qui n’avaient pas la permission du site, et à demander à chaque nouveau domaine, dès l’inscription, s’il voulait les laisser passer.
• Depuis le 15 septembre 2026, ses réglages distinguent la recherche, les agents et l’entraînement. Chacun peut être permis, bloqué partout, ou bloqué uniquement sur les pages qui affichent de la publicité.
• Pour un nouveau domaine, Cloudflare propose deux préréglages. Sans publicité, tout est permis. Avec publicité, l’entraînement est refusé, les agents sont bloqués sur les pages qui en affichent, et la recherche reste permise.
• Son robots.txt géré peut ajouter des lignes en tête de votre propre fichier quand vous activez ces préférences.

Si votre site passe par Cloudflare, ouvrez ces réglages et vérifiez que la recherche est permise. Avec un autre hébergeur, cherchez une option qui parle de robots ou d’IA, et demandez au support en cas de doute.

Le bon réglage pour un commerce

• Laissez passer les robots de recherche. Ce sont eux qui font citer votre adresse, vos horaires et vos prix dans les réponses.
• L’entraînement est un choix de principe. Chez OpenAI, Anthropic, Apple et Meta, le refuser ne change rien à la recherche. Chez Google, refuser Google-Extended vous éloigne aussi de l’application Gemini.
• Laissez les visites à la demande : derrière elles, il y a une personne qui veut lire votre page.
• Relisez votre robots.txt après chaque changement d’hébergeur ou de site, et surveillez dans la Search Console les pages bloquées par erreur.

En résumé : séparez l’entraînement de la recherche. Laissez passer OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot et Applebot, refusez les robots d’entraînement si vous le souhaitez, et vérifiez que votre hébergeur ne bloque rien à votre insu.