Comprobador de robots.txt para rastreadores de IA
Mira qué rastreadores de IA pueden leer tu web y cuáles no. Separa los que vienen a entrenar de los que vienen a responder, porque no es lo mismo.
Entrenar y responder no son lo mismo
GPTBot recoge páginas para entrenar modelos. OAI-SearchBot es el que sale a buscar cuando ChatGPT contesta con búsqueda activa. Son dos bots distintos, de la misma empresa, con dos propósitos que no tienen nada que ver.
Media internet copió un robots.txt que bloquea los dos de golpe creyendo que solo cerraba el entrenamiento. El resultado es una web que sigue sin controlar del todo si la usan para entrenar, porque no todos los rastreadores respetan el fichero, y que además ha dejado de poder salir citada. Lo peor de las dos opciones.
Qué hace y qué no hace esta comprobación
Se descarga el robots.txt de tu dominio y se evalúa, regla a regla, si cada rastreador puede pedir la raíz de tu web. Se aplican las reglas de verdad: gana el grupo más específico, los grupos no se suman, gana la regla más larga y en empate gana Allow.
Lo que no hace: comprobar si el rastreador respeta el fichero. Un robots.txt es una petición, no un muro. Los rastreadores de OpenAI, Anthropic, Google y Perplexity lo respetan y lo documentan; otros no, y para esos hace falta bloquear por agente de usuario en el servidor.
Estar permitido no es estar citado
Que un rastreador pueda entrar es condición necesaria y no suficiente. Abrir el robots.txt no hace que un modelo te nombre: hace que pueda hacerlo. Lo que decide si te nombra es si tu página responde a la pregunta mejor que las demás, y si tu entidad está lo bastante definida como para que el modelo sepa de quién habla.
Por eso esta comprobación es un descarte y no un diagnóstico. Si sale todo bloqueado, ya sabes por qué no apareces. Si sale todo permitido, el motivo está en otro sitio y hay que medirlo.
Esto te dice si pueden leerte. No si te nombran.
Las tres comprobaciones de aquí son descartes: te dicen si hay algo que te impide salir en una respuesta. Saber si sales, y quién sale en tu lugar, hay que medirlo preguntándole a los modelos. El escáner lo hace gratis en un minuto.