Robots.txt-Prüfer für KI-Crawler
Sehen Sie, welche KI-Crawler Ihre Website lesen dürfen und welche nicht. Das Werkzeug trennt die, die zum Trainieren kommen, von denen, die zum Antworten kommen, denn das ist nicht dasselbe.
Trainieren und Antworten sind nicht dasselbe
GPTBot sammelt Seiten, um Modelle zu trainieren. OAI-SearchBot ist der, der suchen geht, wenn ChatGPT mit aktiver Suche antwortet. Zwei verschiedene Bots, derselben Firma, mit zwei Zwecken, die nichts miteinander zu tun haben.
Das halbe Internet hat eine robots.txt kopiert, die beide auf einmal blockiert, im Glauben, damit nur das Training zu schließen. Das Ergebnis ist eine Website, die immer noch nicht vollständig kontrolliert, ob sie zum Training verwendet wird, weil nicht jeder Crawler die Datei beachtet, und die obendrein nicht mehr zitiert werden kann. Das Schlechteste aus beiden Optionen.
Was diese Prüfung leistet und was nicht
Sie lädt die robots.txt Ihrer Domain herunter und wertet Regel für Regel aus, ob jeder Crawler die Wurzel Ihrer Website anfordern darf. Dabei gelten die echten Regeln: Die spezifischste Gruppe gewinnt, Gruppen summieren sich nicht, die längste Regel gewinnt, und bei Gleichstand gewinnt Allow.
Was sie nicht leistet: prüfen, ob der Crawler die Datei beachtet. Eine robots.txt ist eine Bitte, keine Mauer. Die Crawler von OpenAI, Anthropic, Google und Perplexity beachten sie und dokumentieren das; andere nicht, und für die muss man serverseitig nach User-Agent blockieren.
Erlaubt sein heißt nicht zitiert werden
Dass ein Crawler hineinkommt, ist notwendig, aber nicht hinreichend. Die robots.txt zu öffnen sorgt nicht dafür, dass ein Modell Sie nennt, sondern dafür, dass es das kann. Entscheidend ist, ob Ihre Seite die Frage besser beantwortet als die anderen und ob Ihre Entität klar genug definiert ist, damit das Modell weiß, von wem es spricht.
Deshalb schließt diese Prüfung eine Ursache aus, sie stellt keine Diagnose. Kommt alles blockiert zurück, wissen Sie, warum Sie nicht auftauchen. Kommt alles erlaubt zurück, liegt der Grund woanders und muss gemessen werden.
Das sagt Ihnen, ob man Sie lesen kann. Nicht, ob man Sie nennt.
Die drei Prüfungen hier schließen Ursachen aus: Sie zeigen, ob etwas Sie daran hindert, in einer Antwort aufzutauchen. Ob Sie tatsächlich auftauchen und wer stattdessen genannt wird, lässt sich nur messen, indem man die Modelle befragt. Der Scanner macht das kostenlos in einer Minute.