Crawlability (scansionabilità)
La crawlability è la facilità con cui il crawler di un motore di ricerca riesce a raggiungere una pagina e leggerne il contenuto, a patto che sia collegata da link, consentita dalle regole robots, servita senza errori e renderizzata in modo che il suo testo esista nell'HTML che il crawler analizza.
Una pagina può essere online per chi naviga e restare comunque invisibile a un crawler. Il crawler deve trovare un URL attraverso un link o una sitemap, avere il permesso di scaricarlo (lo decidono il file robots.txt, la direttiva noindex e i codici di stato HTTP) e poi estrarre testo reale dalla risposta. Se uno di questi passaggi fallisce, il contenuto non entra nell'indice, per quanto sia valido. La crawlability è la condizione preliminare per tutto il resto: una pagina che non può essere raggiunta e letta non può posizionarsi, non può ottenere un rich snippet e non può essere citata da nulla.
Il passaggio del rendering è il punto in cui i negozi moderni perdono terreno senza accorgersene. I contenuti inseriti da JavaScript dopo il caricamento della pagina, come un widget di recensioni caricato da uno script di terze parti o un iframe, spesso non sono presenti nell'HTML iniziale. Alcuni crawler eseguono il rendering di JavaScript in ritardo o non lo eseguono affatto, quindi quelle recensioni possono risultare non scansionabili: il cliente le vede, il crawler no. Gli iframe sono una trappola particolare, perché il loro contenuto risiede su un URL separato e raramente viene attribuito alla pagina che li ospita.
Prendi un negozio Shopify che vende capi base in lana merino. La pagina prodotto mostra 240 recensioni con una media di 4,7 stelle, caricate da un'app di recensioni che scrive le stelle e le citazioni dei clienti nella pagina dopo che il browser ha eseguito il suo script. Per chi compra la pagina sembra completa. Per un crawler che scarica la risposta grezza, il contenuto principale è un titolo prodotto, un prezzo e una breve descrizione: le 240 recensioni semplicemente non sono nel documento. Il commerciante dà per scontato che la social proof stia lavorando per la ricerca quando, al livello che il crawler vede, non esiste.
La verifica onesta è scaricare l'HTML grezzo (visualizza sorgente, oppure una richiesta curl) e cercare il testo effettivo delle recensioni. Se manca lì, manca anche nella vista del crawler. Questo ormai conta oltre la ricerca classica. I motori di risposta come ChatGPT, Perplexity e Google AI Overviews costruiscono le risposte a partire dal testo che riescono a recuperare e analizzare, e gran parte di quel recupero si appoggia sullo stesso HTML scansionabile, non su un rendering completo di ogni pagina nel browser. Quando una persona chiede a un assistente quale capo base in lana merino regge dopo molti lavaggi, il modello può attingere solo al linguaggio delle recensioni che è riuscito a leggere. Le recensioni intrappolate in un widget che vive solo lato browser non contribuiscono in nulla a quella risposta.
Rendere le recensioni esistenti leggibili, confermate e citate dalla ricerca e dall'AI è il divario che BeyondReviews colma, renderizzando quel contenuto lato server in modo che le parole siano nell'HTML che il crawler analizza alla prima richiesta, invece di lasciarle chiuse dentro uno script che esegue solo il browser.