Crawlability (Crawlbarkeit)
Crawlability beschreibt, wie leicht ein Crawler einer Suchmaschine eine Seite erreichen und ihren Inhalt lesen kann, und hängt davon ab, ob die Seite verlinkt ist, von den robots-Regeln erlaubt wird, ohne Fehler ausgeliefert wird und so gerendert ist, dass ihr Text im HTML steht, das der Crawler tatsächlich verarbeitet.
Eine Seite kann für menschliche Besucher live sein und für einen Crawler trotzdem unsichtbar bleiben. Der Crawler muss eine URL über einen Link oder eine Sitemap finden, sie abrufen dürfen (das entscheiden robots.txt, die noindex-Direktive und die HTTP-Statuscodes gemeinsam) und dann echten Text aus der Antwort herauslesen. Scheitert einer dieser Schritte, gelangt der Inhalt nicht in den Index, egal wie gut er ist. Crawlability ist die Voraussetzung für alles, was danach kommt: Eine Seite, die nicht erreicht und gelesen werden kann, kann nicht ranken, kann kein rich snippet gewinnen und kann von nichts zitiert werden.
Beim Rendern verlieren moderne Shops still an Boden. Inhalte, die per JavaScript nach dem Laden der Seite eingefügt werden, etwa ein Bewertungs-Widget aus einem Drittanbieter-Skript oder ein iframe, stehen oft nicht im initialen HTML. Manche Crawler rendern JavaScript verzögert oder gar nicht, und so können diese Bewertungen uncrawlbar sein: Der Käufer sieht sie, der Crawler nicht. iframes sind eine besondere Falle, denn ihr Inhalt liegt auf einer eigenen URL und wird der Hostseite selten zugerechnet.
Nimm einen Shopify-Shop, der Merino-Funktionswäsche verkauft. Die Produktseite zeigt 240 Bewertungen mit durchschnittlich 4,7 Sternen, geladen von einer Bewertungs-App, die die Sterne und die Kundenzitate erst nach dem Ausführen ihres Skripts in die Seite schreibt. Für den Käufer wirkt die Seite vollständig. Für einen Crawler, der die rohe Antwort abruft, besteht der Hauptinhalt aus einem Produkttitel, einem Preis und einer kurzen Beschreibung: Die 240 Bewertungen stehen schlicht nicht im Dokument. Der Händler nimmt an, dass der Social Proof für die Suche arbeitet, obwohl er auf der Ebene, die der Crawler sieht, nicht existiert.
Der ehrliche Test ist, das rohe HTML abzurufen (Seitenquelltext anzeigen oder eine curl-Anfrage) und nach dem tatsächlichen Bewertungstext zu suchen. Fehlt er dort, fehlt er auch in der Crawler-Ansicht. Das zählt inzwischen über die klassische Suche hinaus. Antwortmaschinen wie ChatGPT, Perplexity und Google AI Overviews setzen ihre Antworten aus Text zusammen, den sie abrufen und verarbeiten können, und dieser Abruf stützt sich überwiegend auf dasselbe crawlbare HTML statt auf ein vollständiges Browser-Rendering jeder Seite. Wenn ein Käufer eine KI-Antwortmaschine fragt, welche Merino-Funktionswäsche wiederholte Wäschen übersteht, kann das Modell nur auf Bewertungssprache zurückgreifen, die es lesen konnte. Bewertungen, die in einem reinen Client-Widget gefangen sind, tragen zu dieser Antwort nichts bei.
Vorhandene Bewertungen lesbar, belegt und von Suche und KI zitierbar zu machen, ist die Lücke, die BeyondReviews schließt, indem es diesen Inhalt serverseitig rendert, sodass die Worte im HTML stehen, das der Crawler bei der ersten Anfrage verarbeitet, statt sie in einem Skript einzusperren, das nur der Browser ausführt.