Crawlowalność
Crawlowalność określa, jak łatwo robot wyszukiwarki może dotrzeć do strony i odczytać jej zawartość, i zależy od tego, czy strona jest podlinkowana, dopuszczona przez plik robots.txt, dostępna bez błędów serwera i czy jej tekst jest obecny w kodzie HTML przy pierwszym pobraniu.
Strona może być dostępna dla odwiedzających i jednocześnie niewidoczna dla robota. Robot musi znaleźć adres URL przez link lub mapę strony, uzyskać zgodę na pobranie (o tym decydują plik robots.txt, dyrektywa noindex i kody odpowiedzi HTTP), a następnie wyodrębnić rzeczywisty tekst z odpowiedzi serwera. Jeśli którykolwiek z tych kroków zawiedzie, treść nie trafia do indeksu, bez względu na jej jakość. Crawlowalność to warunek wstępny wszystkich kolejnych etapów: strona, której robot nie może osiągnąć i odczytać, nie może się pozycjonować, nie może uzyskać rozszerzonego wyniku wyszukiwania i żaden system jej nie zacytuje.
Etap renderowania to miejsce, gdzie nowoczesne sklepy po cichu tracą widoczność. Treści wstrzyknięte przez JavaScript po załadowaniu strony, takie jak widget z opiniami pobierany z zewnętrznego skryptu lub osadzony w elemencie iframe, często nie są obecne w pierwotnym kodzie HTML. Niektóre roboty renderują JavaScript z opóźnieniem lub wcale, przez co takie opinie mogą być niedostępne dla robota: klient je widzi, robot nie. Element iframe jest szczególną pułapką, ponieważ jego zawartość znajduje się pod osobnym adresem URL i rzadko jest przypisywana do strony, która go osadza.
Sklep Shopify sprzedający akcesoria rowerowe ma stronę produktu z 240 opiniami ze średnią oceną 4,7 gwiazdki. Są one ładowane przez aplikację do zbierania opinii, która wpisuje oceny i treści klientów do strony po uruchomieniu skryptu przez przeglądarkę. Dla odwiedzającego strona wygląda na kompletną. Dla robota pobierającego surową odpowiedź serwera widoczne są tylko tytuł produktu, cena i krótki opis. 240 opinii po prostu nie ma w dokumencie. Sprzedawca zakłada, że Social Proof pracuje na rzecz widoczności w wyszukiwarce, podczas gdy na poziomie, który widzi robot, te opinie po prostu nie istnieją.
Uczciwy test polega na pobraniu surowego kodu HTML strony (widok źródła lub zapytanie curl) i sprawdzeniu, czy rzeczywiste teksty opinii tam są. Jeśli ich tam nie ma, robot też ich nie widzi. To ma znaczenie nie tylko dla klasycznego wyszukiwania. Silniki odpowiedzi AI, takie jak ChatGPT, Perplexity i Google AI Overviews, budują odpowiedzi na podstawie tekstu, który mogą pobrać i przetworzyć, a większość tego pobierania opiera się na tym samym crawlowalnym kodzie HTML, a nie na pełnym renderowaniu każdej strony w przeglądarce. Gdy klient pyta asystenta AI, który osprzęt rowerowy wytrzymuje kilka sezonów użytkowania, model może bazować wyłącznie na języku opinii, który był w stanie odczytać. Opinie uwięzione w widgecie działającym tylko po stronie klienta nie wnoszą niczego do takiej odpowiedzi.
Sprawienie, żeby istniejące opinie były odczytywalne, poświadczone i cytowane przez wyszukiwarki i systemy AI, to luka, którą zamyka BeyondReviews. Renderuje te treści po stronie serwera, przez co słowa trafiają do kodu HTML przy pierwszym żądaniu, zamiast pozostawać zablokowane w skrypcie, który uruchamia tylko przeglądarka.