Robots.txt und dein KI-Käufer: Blockierst du die Crawler, die dich zitieren?

Warum sollte meine robots.txt KI-Crawler überhaupt blockieren?

Selten mit Absicht. Die meisten Sperren entstehen durch Vererbung: ein Security-Plugin, ein CDN-Preset, ein Hosting-Standard oder eine kopierte Vorlage, die während der Welle von 2023 ("halte meine Inhalte aus dem Training") Disallow-Regeln für KI-Bots ergänzt hat. Die Regel bleibt jahrelang in der Datei und niemand schaut sie noch einmal an.

Die Absicht war damals, deine Inhalte aus dem Modelltraining herauszuhalten. Der Nebeneffekt heute: Dieselbe Regel hält deine Bewertungen aus den Live-Zitaten heraus, die Antwortmaschinen einem Käufer mitten im Kauf anzeigen. Trainingszugriff und Antwortzugriff sind nicht dasselbe, doch eine einzige Disallow-Zeile blockiert oft beides.

Welche KI-Crawler-User-Agents muss ich suchen?

Verschiedene Maschinen schicken verschiedene Bots, und eine Sperre für einen Bot sperrt die anderen nicht. Öffne deine robots.txt, prüfe die User-agent-Zeilen auf die benannten KI-Crawler und lies die Disallow-Regeln in jedem Block.

Eine Regel unter einem User-Agent gilt nur für diesen Agent, eine Datei kann also die Google-Suche willkommen heißen und gleichzeitig den Bot aussperren, der eine AI Overview füttert.

• GPTBot und OAI-SearchBot, die OpenAI-Crawler hinter der ChatGPT-Suche.
• ClaudeBot und Claude-User, eingesetzt von Anthropic.
• PerplexityBot, der die Seiten holt, die Perplexity zitiert.
• Google-Extended, das Gemini und die AI Overviews getrennt vom normalen Googlebot steuert.

Verliere ich durch eine Sperre wirklich das Zitat?

Oft ja. Antwortmaschinen verlassen sich auf eigene Crawler, um die Live-Seite zu lesen, und die robots.txt ist das Tor, an das sich dieser Crawler hält. Ist das Tor zu, hat die Maschine keine lesbare Kopie deiner Bewertungen zum Zitieren, und du fällst aus der Antwort für jeden Käufer, der nie deinen Markennamen tippt.

Die ehrliche Einschränkung: robots.txt ist eine Bitte, keine Mauer. Konforme Crawler beachten sie, und die großen KI-Bots tun das in der Regel, ein Disallow kostet dich bei ihnen also verlässlich Sichtbarkeit. Es stoppt keinen Akteur, der die Datei ignoriert, und es ist keine Sicherheitsmaßnahme. Der Punkt hier ist enger: Wenn du zitiert werden willst, blockiere nicht die Bots, die zitieren.

Wie prüfe ich die robots.txt, ohne alles freizugeben?

Du wählst nicht zwischen totaler Abschottung und totaler Offenlegung. Bei der Prüfung geht es darum, die versehentlichen Sperren der wenigen Crawler zu entfernen, die käuferseitige Antworten füttern, und die bewusst gesetzten Sperren zu behalten.

Arbeite die Schritte der Reihe nach ab und ändere immer nur eine Sache, damit du siehst, was jede Änderung bewirkt.

• Lies deinshop.de/robots.txt und liste jeden User-agent-Block samt Disallow-Regeln auf.
• Markiere jedes Disallow, das auf GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot oder Google-Extended zielt.
• Entscheide pro Bot: Eine bewusste Sperre bleibt, eine vererbte, die du nie gewählt hast, kommt raus.
• Stelle sicher, dass deine Bewertungsseiten und Produkt-URLs nicht von einem breiten Disallow-Pfad erfasst werden.

Ich habe die Crawler entsperrt. Warum werden meine Bewertungen trotzdem nicht zitiert?

Weil Zugriff notwendig ist, aber nicht ausreichend. Den Crawler hereinzulassen zählt nur, wenn es etwas Lesbares gibt, das er bei seiner Ankunft mitnehmen kann. Ein Shop kann jeden KI-Bot willkommen heißen und bleibt trotzdem unzitiert, weil seine Bewertungen in einem JavaScript-Widget erscheinen, das der Crawler als leeren Container sieht.

Die meisten Bewertungs-Apps wurden für den Käufer auf der Seite gebaut und hören beim Widget auf, was die Bewertungen für genau die Crawler unlesbar macht, die du gerade entsperrt hast. Deine vorhandenen Bewertungen lesbar, belegt und in Suche und KI zitiert zu machen, ist die Lücke, die BeyondReviews schließt. Robots.txt öffnet die Tür, lesbares Bewertungs-HTML ist das, was die Maschine tatsächlich zurückträgt.

Wie unterscheidet sich das von einem noindex-Tag oder einer llms.txt-Datei?

Sie steuern verschiedene Dinge. Robots.txt regelt, ob ein Crawler eine Seite überhaupt abrufen darf. Ein noindex-Tag lässt den Crawler abrufen, bittet die Maschine aber, nicht zu indexieren, es ist also ein weicheres Signal und wird erst gesehen, nachdem der Abruf erlaubt ist. Eine llms.txt-Datei ist ein separater Vorschlag, der Modelle auf bevorzugte Inhalte hinweist und niemanden blockieren kann.

Für die KI-Zitierung ist robots.txt das tragende Element. Sperrt sie den Crawler aus, ist alles Nachgelagerte egal, weil die Maschine die Seite nie zu lesen bekommt, geschweige denn ein noindex-Tag oder einen llms.txt-Hinweis abwägt.

Was bleibt unterm Strich

Robots.txt ist ein Fünf-Minuten-Check mit großem Einsatz. Ein einziges vererbtes Disallow kann deinen Shop aus den KI-Antworten entfernen, ohne dass es jemand bemerkt, und die Lösung ist meist das Löschen einer Zeile, die du nie ergänzen wolltest. Prüfe die KI-Crawler-User-Agents, behalte die Sperren, die du gewählt hast, entferne die vererbten, und stelle dann sicher, dass die Bewertungen hinter der Tür tatsächlich lesbar sind, sobald der Crawler hindurchgeht.