Vérificateur de robots.txt pour les robots d'IA
Voyez quels robots d'IA peuvent lire votre site et lesquels ne le peuvent pas. L'outil sépare ceux qui viennent entraîner de ceux qui viennent répondre, car ce n'est pas la même chose.
Entraîner et répondre, ce n'est pas la même chose
GPTBot collecte des pages pour entraîner des modèles. OAI-SearchBot est celui qui part chercher quand ChatGPT répond avec la recherche activée. Deux robots différents, de la même entreprise, avec deux finalités sans rapport.
La moitié d'internet a recopié un robots.txt qui bloque les deux d'un coup en croyant ne fermer que l'entraînement. Résultat : un site qui ne maîtrise toujours pas complètement son usage pour l'entraînement, puisque tous les robots ne respectent pas le fichier, et qui en plus ne peut plus être cité. Le pire des deux options.
Ce que cette vérification fait et ne fait pas
Elle télécharge le robots.txt de votre domaine et évalue, règle par règle, si chaque robot peut demander la racine de votre site. Elle applique les vraies règles : le groupe le plus spécifique l'emporte, les groupes ne se cumulent pas, la règle la plus longue gagne et, à égalité, Allow l'emporte.
Ce qu'elle ne fait pas : vérifier si le robot respecte le fichier. Un robots.txt est une demande, pas un mur. Les robots d'OpenAI, d'Anthropic, de Google et de Perplexity le respectent et le documentent ; d'autres non, et pour ceux-là il faut bloquer par agent utilisateur côté serveur.
Être autorisé n'est pas être cité
Qu'un robot puisse entrer est une condition nécessaire, pas suffisante. Ouvrir le robots.txt ne fait pas qu'un modèle vous cite : cela rend la chose possible. Ce qui décide, c'est si votre page répond à la question mieux que les autres, et si votre entité est assez définie pour que le modèle sache de qui il parle.
C'est pourquoi il s'agit d'écarter une hypothèse, pas d'un diagnostic. Si tout ressort bloqué, vous savez pourquoi vous n'apparaissez pas. Si tout ressort autorisé, la raison est ailleurs et il faut la mesurer.
Ceci vous dit s'ils peuvent vous lire. Pas s'ils vous citent.
Les trois vérifications proposées ici servent à écarter des hypothèses : elles disent si quelque chose vous empêche d'apparaître dans une réponse. Savoir si vous y apparaissez, et qui y apparaît à votre place, cela se mesure en interrogeant les modèles. Le scanner le fait gratuitement en une minute.