Verificador de robots.txt para rastreadores de IA
Vê que rastreadores de IA podem ler o teu site e quais não podem. Separa os que vêm treinar dos que vêm responder, porque não é a mesma coisa.
Treinar e responder não são a mesma coisa
O GPTBot recolhe páginas para treinar modelos. O OAI-SearchBot é o que vai procurar quando o ChatGPT responde com pesquisa ativa. São dois bots diferentes, da mesma empresa, com dois propósitos que nada têm a ver um com o outro.
Meia internet copiou um robots.txt que bloqueia os dois de uma vez, a pensar que só fechava o treino. O resultado é um site que continua sem controlar por completo se é usado para treino, porque nem todos os rastreadores respeitam o ficheiro, e que ainda por cima deixou de poder ser citado. O pior das duas opções.
O que esta verificação faz e o que não faz
Descarrega o robots.txt do teu domínio e avalia, regra a regra, se cada rastreador pode pedir a raiz do teu site. Aplica as regras a sério: ganha o grupo mais específico, os grupos não se somam, ganha a regra mais longa e, em caso de empate, ganha o Allow.
O que não faz: verificar se o rastreador respeita o ficheiro. Um robots.txt é um pedido, não um muro. Os rastreadores da OpenAI, da Anthropic, da Google e da Perplexity respeitam-no e documentam-no; outros não, e para esses é preciso bloquear por agente de utilizador no servidor.
Estar permitido não é estar citado
Um rastreador conseguir entrar é condição necessária, não suficiente. Abrir o robots.txt não faz com que um modelo te mencione: faz com que possa fazê-lo. O que decide é se a tua página responde à pergunta melhor do que as outras, e se a tua entidade está suficientemente definida para o modelo saber de quem fala.
Por isso isto descarta uma hipótese, não faz um diagnóstico. Se sair tudo bloqueado, já sabes porque não apareces. Se sair tudo permitido, o motivo está noutro sítio e tem de ser medido.
Isto diz se conseguem ler-te. Não se te mencionam.
As três verificações aqui servem para descartar hipóteses: dizem se há alguma coisa a impedir-te de aparecer numa resposta. Saber se apareces, e quem aparece no teu lugar, mede-se perguntando aos modelos. O scanner faz isso de graça em cerca de um minuto.