GPTBot, ClaudeBot, PerplexityBot : les 7 robots IA qui décident si vous pouvez être cité

Vous pouvez publier la page de comparaison la plus pointue de votre catégorie, être cité par trois sites d'avis, et ne jamais apparaître dans une seule réponse ChatGPT — parce que le robot qui aurait lu votre page n'a jamais franchi votre robots.txt. C'est le point de blocage le plus en amont de toute la visibilité IA, et c'est aussi le plus invisible : rien sur votre site n'a l'air cassé. Google vous indexe normalement. Vos statistiques ont l'air normales. Le blocage se traduit uniquement par une absence que rien d'autre n'explique. Voici précisément quels robots comptent, ce que fait chacun d'eux, et la distinction que presque tous les guides « bloquer les robots IA » ratent.

Les 7 robots qui alimentent les moteurs que vous essayez d'atteindre

Le vérificateur de crawlabilité IA gratuit de PingMyBrand lit votre robots.txt en direct et le vérifie face à ces sept user-agents — la vraie liste actuelle, pas une approximation marketing :

Si votre robots.txt interdit l'un de ces robots sur / — ou si un bloc générique User-agent: * interdit tout sans réautoriser individuellement l'un d'eux — ce moteur ne peut tout simplement pas lire votre site. Pas « vous classe plus bas ». Ne peut pas le lire, point final. Aucun contenu, aussi bon soit-il, ne répare un robot qui n'arrive jamais.

La distinction que presque tous les guides ratent : robots d'entraînement contre robots de réponse

Voici ce qui piège presque tous les articles « comment bloquer les robots IA » : une même entreprise fait souvent tourner deux robots séparés aux conséquences opposées, et bloquer l'un ne fait rien à l'autre. OpenAI est l'exemple le plus clair, et c'est aussi celui que la plupart des éditeurs traitent bien par accident, parce que les deux robots sont déjà dans le tableau ci-dessus :

• GPTBot collecte le contenu qu'OpenAI pourrait utiliser pour entraîner de futurs modèles. Le bloquer exclut votre contenu de l'entraînement — un choix légitime et courant — mais n'a aucun effet sur la capacité de ChatGPT à parcourir votre site ou à vous citer dans une réponse aujourd'hui.
• OAI-SearchBot est le robot séparé qui alimente la fonction de recherche de ChatGPT. La documentation d'OpenAI le dit clairement : les sites qui se retirent d'OAI-SearchBot n'apparaîtront pas dans les réponses de recherche de ChatGPT. C'est celui-là qui gouverne réellement si vous pouvez être cité.

Bloquez GPTBot et laissez OAI-SearchBot ouvert, et vous êtes exclu de l'entraînement tout en restant pleinement citable — une position tout à fait raisonnable pour beaucoup d'entreprises. Bloquez les deux par accident avec une seule règle générique, et vous vous êtes silencieusement exclu de ce que vous vouliez réellement.

L'écart honnête à nommer : Anthropic fait tourner le même type de séparation pour Claude — ClaudeBot pour l'entraînement, et un Claude-SearchBot séparé qu'Anthropic documente comme le robot qui alimente spécifiquement la recherche et la qualité des citations de Claude. Notre propre vérificateur de crawlabilité ne vérifie actuellement que ClaudeBot, le robot d'entraînement de cette paire, pas encore celui spécifique aux citations. Si vous voulez être rigoureux sur Claude en particulier, vérifiez les deux noms directement dans votre robots.txt aujourd'hui plutôt que de supposer qu'une seule vérification couvre l'autre — nous ne allons pas exagérer ce que la version actuelle de notre propre outil vérifie réellement. Comment Claude décide quelles marques recommander va plus loin sur ce qui obtient réellement la citation une fois que le robot peut vous atteindre.

Deux robots qui n'explorent pas du tout

Google-Extended et Applebot-Extended se comportent différemment des cinq autres, et il vaut mieux le savoir avant de supposer que les bloquer protège votre visibilité de recherche. Aucun des deux n'opère sa propre exploration — les robots classiques de Google et d'Apple (Googlebot, Applebot) font la récupération de toute façon. Ces deux jetons « Extended » sont des interrupteurs de retrait posés par-dessus : interdire Google-Extended dit à Google de ne pas utiliser le contenu qu'il a déjà exploré pour entraîner Gemini et pour le « grounding » (fournir du contenu en direct au modèle au moment de répondre), tandis qu'interdire Applebot-Extended retire du même coup l'entraînement d'Apple Intelligence. Bloquer l'un ou l'autre ne vous retire pas des résultats classiques de recherche Google ou Apple — et le détail qu'il vaut la peine de préciser exactement : bloquer Google-Extended n'empêche spécifiquement pas votre contenu d'apparaître dans les Présentations IA (AI Overviews) de Google, qui s'appuient sur l'index de recherche standard plutôt que sur le pipeline de grounding que ce jeton contrôle. Autoriser Googlebot n'autorise pas automatiquement Google-Extended ; ils ont besoin de blocs de règles séparés.

Le piège qui vit en dehors de robots.txt

Un robots.txt propre ne dit pas tout si votre site est derrière Cloudflare. Le tableau de bord de Cloudflare propose un interrupteur « Block AI Bots » en un clic (Security → Bots) qui opère au niveau du réseau en périphérie — avant même que votre robots.txt soit lu — et il est facile de l'avoir activé sans le savoir, que vous l'ayez activé vous-même pour une autre raison ou qu'il soit arrivé activé par défaut sur votre offre. Un blocage en périphérie l'emporte entièrement sur un robots.txt permissif : votre fichier peut dire « autorisé » et le robot n'atteint quand même jamais votre serveur. Si vos vérifications de crawlabilité ont l'air propres mais que vous vous doutez encore d'être invisible, c'est ce interrupteur du tableau de bord — pas votre fichier robots.txt — qu'il faut regarder ensuite.

Vérifiez vous-même en une minute environ

Pas besoin de lire votre propre robots.txt à l'œil et de recouper sept chaînes de user-agent à la main. Lancez le vérificateur de crawlabilité IA gratuit : entrez votre domaine, et il récupère votre robots.txt en direct, le vérifie face aux sept robots ci-dessus, et vous dit clairement lesquels sont bloqués et lesquels sont ouverts — la même vérification en amont que nous recommandons avant tout travail sur llms.txt, JSON-LD, ou le contenu, parce que rien de tout cela n'a d'importance si le robot ne peut pas entrer.

Et une fois la porte confirmée ouverte, la vraie question est celle qu'une vérification de crawlabilité ne peut pas répondre seule : quand un moteur atteint effectivement votre site, vous nomme-t-il réellement ? Lancez le scan gratuit et nous poserons 25 vraies questions d'acheteur à ChatGPT, Claude, Gemini et Perplexity, et vous montrerons — question par question, moteur par moteur — si vous avez été nommé, si vous avez été cité, et la phrase exacte que chacun a retournée. Sans inscription, en une minute environ, et ça commence par la même vérification de crawlabilité que ce billet vient de parcourir.