robots.txt y el comprador con IA: ¿estás bloqueando los rastreadores que te citan?

¿Por qué mi robots.txt bloquearía rastreadores de IA?

Rara vez es intencional. La mayoría de los bloqueos llegan por herencia: un plugin de seguridad, una configuración predeterminada del CDN, los ajustes del proveedor de hosting o una plantilla copiada que añadió reglas Disallow para bots de IA durante la oleada de 2023 de consejos de "mantén tu contenido fuera del entrenamiento". La regla queda en el archivo durante años y nadie la revisa.

La intención en aquel momento era mantener tu contenido fuera del entrenamiento de los modelos. El efecto secundario ahora es que esa misma regla puede excluir tus reseñas de las citas en vivo que los motores de respuesta con IA muestran a un comprador en plena decisión de compra. El acceso para entrenamiento y el acceso para respuestas no son lo mismo, pero una sola línea Disallow suele bloquear ambos.

¿Qué user-agents de IA debo buscar en el robots.txt?

Cada motor envía bots distintos, y bloquear uno no bloquea a los demás. Abre tu robots.txt y revisa las líneas User-agent en busca de los rastreadores de IA por nombre, luego lee las reglas Disallow asociadas a cada bloque.

Una regla bajo un user-agent solo se aplica a ese agente, así que un archivo puede dar la bienvenida a la búsqueda de Google mientras bloquea discretamente el bot que alimenta un AI Overview.

• GPTBot y OAI-SearchBot, los rastreadores de OpenAI detrás de la búsqueda en ChatGPT.
• ClaudeBot y Claude-User, utilizados por Anthropic.
• PerplexityBot, que recupera las páginas que Perplexity cita.
• Google-Extended, que gobierna Gemini y los AI Overviews de forma separada al Googlebot habitual.

¿Bloquear un rastreador de IA hace que pierda las citas?

A menudo, sí. Los motores de respuesta dependen de los rastreadores que controlan para leer la página en vivo, y el robots.txt es la puerta que ese rastreador obedece. Si la puerta está cerrada, el motor no tiene ninguna copia legible de tus reseñas para citar, y dejas de aparecer en la respuesta para cualquier comprador que nunca haya escrito el nombre de tu marca.

La advertencia honesta: el robots.txt es una solicitud, no un muro. Los rastreadores que cumplen las normas lo respetan, y los principales bots de IA generalmente lo hacen, así que un Disallow te cuesta de forma fiable ante ellos. No detendrá a un actor que ignore el archivo, y no es un control de seguridad. El punto aquí es más concreto: si quieres ser citado, no bloquees los bots que hacen las citas.

¿Cómo auditar el robots.txt sin exponer toda la tienda?

No estás eligiendo entre un bloqueo total y una exposición total. La auditoría consiste en eliminar los bloqueos accidentales sobre los pocos rastreadores que alimentan las respuestas orientadas a compradores, manteniendo los bloqueos que sí estableciste de forma deliberada.

Trabaja en orden y cambia una sola cosa cada vez para ver el efecto de cada edición.

• Lee tutienda.com/robots.txt y anota cada bloque User-agent y sus reglas Disallow.
• Marca cualquier Disallow que apunte a GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot o Google-Extended.
• Decide bot por bot: un bloqueo deliberado se mantiene; uno heredado que nunca elegiste, desaparece.
• Comprueba que tus páginas de reseñas y las URLs de producto no queden atrapadas en una ruta Disallow amplia.

Desbloqueé los rastreadores y mis reseñas siguen sin citarse: ¿qué falla?

Porque el acceso es necesario, pero no suficiente. Que el rastreador pueda entrar solo importa si hay algo legible que pueda llevarse una vez allí. Una tienda puede dar la bienvenida a todos los bots de IA y seguir sin aparecer citada porque sus reseñas se renderizan dentro de un Widget de JavaScript que el rastreador ve como un contenedor vacío.

La mayoría de las aplicaciones de reseñas se diseñaron para el comprador que navega en la página y se detienen en el Widget, lo que deja las reseñas ilegibles para los mismos rastreadores que acabas de desbloquear. Conseguir que tus reseñas existentes sean legibles, verificables y citadas en la búsqueda y en la IA es la brecha que BeyondReviews está diseñado para cerrar. El robots.txt abre la puerta; el HTML de reseñas legible es lo que el motor realmente se lleva.

¿En qué se diferencia del noindex o del archivo llms.txt?

Controlan cosas distintas. El robots.txt gobierna si un rastreador puede recuperar una página. Una etiqueta noindex permite al rastreador recuperar la página pero le pide al motor que no la indexe, así que es una señal más suave y solo se ve después de que la recuperación está permitida. Un archivo llms.txt es una propuesta aparte que orienta a los modelos hacia contenido preferido y no tiene capacidad para bloquear a nadie.

Para la cita en IA, el robots.txt es el que carga el peso. Si bloquea al rastreador, nada de lo que viene después importa, porque el motor nunca llega a leer la página, y mucho menos a valorar una etiqueta noindex o una indicación de llms.txt.

Qué implica todo esto

El robots.txt es una comprobación de cinco minutos con consecuencias desproporcionadas. Un solo Disallow heredado puede sacar tu tienda de las respuestas con IA sin que nadie lo note, y la solución suele ser eliminar una línea que nunca quisiste añadir. Audita los user-agents de los rastreadores de IA, mantén los bloqueos que elegiste, elimina los que heredaste y asegúrate de que las reseñas detrás de la puerta son realmente legibles cuando el rastreador la atraviesa.