세 크롤러, 세 리뷰 플랫폼에 보낸 curl 하나.

AI 크롤러가 Shopify 상품 페이지에서 실제로 무엇을 보는지 알고 싶었습니다. 마케팅 자료가 주장하는 내용이 아니라, 리뷰 위젯 공급업체의 SEO 페이지가 말하는 내용도 아니라, 터미널에서 단 하나의 HTTP 요청으로 직접 물어보면 어떤 답이 돌아오는지를 확인하고 싶었습니다.

질문을 던지는 방법은 간단합니다. 잠시 크롤러가 되어보는 것입니다. 사용자 에이전트를 GPTBot으로 설정하고, 상품 페이지 URL로 curl을 날린 뒤, HTML을 디스크에 저장하고, 문자열 검색이 가능한 편집기로 엽니다. 스토어의 최고 평점 리뷰에서 가장 독특한 문장, 즉 페이지의 다른 어디에도 나타나지 않고 공급업체의 마케팅 문구에도 없는 그 문장을 찾아봅니다. 파일에 그 문장이 있다면 크롤러가 읽었다는 뜻입니다. 없다면 읽지 못한 것이고, 이 요청 이후에 고객의 언어를 대상으로 일어나는 모든 일은 그 문장 없이 이루어지는 것입니다.

몇 주 전, 세 개의 스토어를 대상으로 각각 세 개의 크롤러로 이 실험을 진행했습니다. 총 아홉 번의 요청으로, Shopify App Store에서 가장 인기 있는 리뷰 플랫폼 세 곳을 대상으로 했습니다. Yotpo 스토어 하나, Okendo 스토어 하나, Loox 스토어 하나, 모두 App Store의 기본 설치 상태였습니다. 결과는 3x3 격자입니다. 이 에세이는 그 격자를 한 칸씩 살펴봅니다. 대부분의 칸은 비어 있습니다. 비어 있지 않은 칸에는 집계 평점만 있을 뿐, 리뷰 텍스트는 없습니다.

스토어는 익명(스토어 A, B, C)으로 유지합니다. 중요한 것은 판매자가 아니라 플랫폼이기 때문입니다. 어느 위젯을 사용하는 Shopify 스토어에 같은 테스트를 해도 결과는 동일할 것이라 예상합니다. 20분, 터미널, 문자열 검색이면 충분합니다.

스토어 URL은 구매자가 찾는 방식 그대로 선정했습니다. 각각 비브랜드 상품 검색어(세럼, 캔들, 반려동물 보조식품)의 오가닉 검색 최상위 결과였습니다. 각 스토어는 판매자 대시보드 기준으로 해당 상품 페이지에 300개에서 3,000개 사이의 리뷰를 보유하고 있었습니다. 모두 커스텀 서버사이드 렌더링 계층이나 엔터프라이즈 기능 없이 리뷰 소프트웨어를 수정 없이 기본 설치한 상태였습니다.

스토어 A는 Shopify App Store에서 제공하는 표준 위젯 설정으로 Yotpo를 사용하고 있었습니다.

스토어 B는 동일한 표준 설정으로 Okendo를 사용하고 있었습니다.

스토어 C는 사진 및 동영상 리뷰 앱인 Loox를, 역시 App Store 기본 설정으로 사용하고 있었습니다.

요청은 2026년 5월, 단일 일반 IP에서 이루어졌으며, 각 플랫폼의 공개된 크롤러 운영자 페이지에 명시된 그대로의 사용자 에이전트 문자열을 사용했습니다. 페이지와 상호작용하지 않았고, JavaScript를 실행하지 않았으며, 아이프레임을 따라가지 않았습니다. 크롤러 자체가 하는 방식 그대로 HTML을 요청했습니다. GET 요청, 적절한 사용자 에이전트 헤더, 쿠키 없음, 기본값 이외의 Accept-Language 설정 없음.

세 봇의 공개 문서는 명확합니다. OpenAI의 GPTBot은 OpenAI 크롤러 운영자 페이지(2026년 5월 기준)에 따르면 HTML을 가져와 파싱하며 JavaScript를 실행하지 않습니다. Anthropic의 ClaudeBot은 Anthropic 공개 봇 문서에 따르면 HTML을 가져와 파싱하며 JavaScript를 실행하지 않습니다. Perplexity의 PerplexityBot, 즉 실시간 쿼리 시 작동하는 PerplexityUser 에이전트와 구별되는 인덱싱 크롤러 역시 같은 방식으로 작동합니다. HTML만.

이것이 실험의 전제입니다. 세 개의 페이지, 세 개의 크롤러, 아홉 번의 요청, 각 칸에 대한 하나의 질문: 서버가 반환한 원시 HTML에 구매자가 브라우저에서 보는 리뷰 텍스트가 포함되어 있는가.

스토어 A가 GPTBot에 반환한 페이지는 50킬로바이트입니다. Shopify Liquid로 렌더링된 테마가 담겨 있습니다. 헤더, 상품 제목, 가격, 옵션 선택기, 구매 버튼, 상품 설명, 사이즈 가이드, 배송 정책 스니펫, 푸터. 상품에 대한 구조화 데이터도 있습니다. Product 스키마에 이름, 가격, 이미지, 그리고 리뷰 수와 평균 점수를 담은 AggregateRating 노드 하나(AggregateRating은 서버사이드이며, HTML에서 리뷰와 관련된 유일한 증거입니다).

포함되지 않은 것: Yotpo가 보유한 812개 리뷰 중 어느 것의 텍스트도. 리뷰 섹션은 `yotpo-main-widget` 클래스를 가진 div 하나와 몇 개의 데이터 속성(상품 id, 이름, 이미지 URL, 가격, 통화), 그리고 Yotpo의 정적 CDN을 가리키는 비동기 스크립트 태그 하나입니다. div는 응답에서 비어 있고, 스크립트는 실행되지 않았습니다.

최고 평점 리뷰에서 가장 독특한 구절, 즉 질감과 메이크업 아래에서 제품이 느껴지는 방식에 대한 특정 문장을 파일에서 검색했습니다. 그 구절은 없었고, 부분 일치도 나타나지 않았습니다. 집계 평점과 구조화 데이터 외에 "review"라는 단어를 검색했더니 탐색 레이블과 ARIA 속성에서 여섯 군데가 나왔습니다. 그 중 리뷰 텍스트는 하나도 없었습니다.

이 페이지에서 돌아온 크롤러는 판매자의 상품 설명, 가격, 집계 평점, 그리고 어딘가에 812개의 리뷰가 있다는 사실만 가지고 갑니다. 단 한 문장도 가져가지 않습니다.

스토어 A가 ClaudeBot에 반환한 페이지는 GPTBot에 반환한 페이지와 바이트 단위로 동일합니다. Shopify의 오리진은 사용자 에이전트에 따라 응답을 달리하지 않습니다. 어떤 클라이언트에도 동일한 Liquid 렌더링 테마를 제공합니다. 리뷰 위젯은 동일한 빈 div이고, 스크립트 태그는 동일한 비동기 요청이며, Anthropic의 크롤러도 OpenAI의 크롤러처럼 스크립트를 실행하지 않습니다.

이 페이지에 대한 ClaudeBot의 인덱스는 GPTBot의 인덱스와 동일합니다. 집계 평점, 개수, 리뷰 없음, 동일한 공백.

동일한 독특한 구절을 검색해 확인했습니다. 없습니다.

동일한 응답. 동일한 빈 div. 동일한 스크립트 태그. 동일한 리뷰 문장 부재.

PerplexityBot은 이 테스트에서 GPTBot, ClaudeBot과 동일하게 작동했습니다. 사용자가 Perplexity에 실시간 질문을 하고 Perplexity가 소수의 페이지를 실시간으로 가져올 때 작동하는 PerplexityUser 에이전트는 브라우저에 더 가깝게 작동하며 경우에 따라 간단한 JavaScript를 렌더링할 수 있습니다. 그러나 PerplexityUser는 인덱서가 아닙니다. 인덱서는 PerplexityBot이며, PerplexityBot은 JavaScript를 실행하지 않습니다.

따라서 격자의 첫 번째 행은 세 칸 모두 비어 있습니다. Yotpo는 표준 설치 상태에서 테스트한 모든 AI 크롤러에게 보이지 않습니다.

Okendo는 Shopify App Store에서 프리미엄 DTC 선택지입니다. Yotpo보다 더 디자인 지향적이고 브랜드 충실도가 높은 대안으로 포지셔닝합니다. 위젯의 미적 디자인은 다르지만 메커니즘은 동일합니다.

스토어 B가 반환한 페이지는 구조적으로 동일한 형태입니다. `okeReviews` 접두사가 붙은 Okendo 컨테이너 div, 데이터 속성 세트(구독자 ID, 상품 ID, 로케일), 그리고 Okendo의 d3hw6dc1ow8pp2.cloudfront.net 배포를 가리키는 스크립트 태그. 응답에 리뷰가 없습니다. 단락이 없습니다. 구조화 데이터에 AggregateRating 노드가 있는데, Okendo도 Yotpo처럼 SEO를 위해 집계를 서버사이드로 페이지에 씁니다. 인용문은 없습니다.

GPTBot, ClaudeBot, PerplexityBot 모두 이 페이지에서 동일한 결과를 반환했습니다. 집계 평점, 개수, 리뷰 없음.

따라서 격자의 두 번째 행도 세 칸 모두 비어 있습니다.

Loox는 사진 및 동영상 리뷰 플랫폼입니다. 차별점은 시각적인 것입니다. 대부분의 설치에서 모든 리뷰에 고객이 제출한 이미지가 첨부됩니다. 스토어 C가 반환한 페이지는 JavaScript 측면에서 세 곳 중 가장 많이 사용합니다. 사진 캐러셀, 라이트박스, 이미지 지연 로딩. 구매자가 브라우저에서 보는 거의 모든 것이 페이지 로드 이후에 렌더링됩니다.

따라서 서버가 반환하는 HTML은 가장 황량합니다. `loox-reviews-default` 클래스를 가진 div와 몇 개의 데이터 속성, 그 뒤에 스크립트 태그. 초기 HTML에는 이미지도 없고, 리뷰 텍스트도 없으며, Loox의 경우 기본적으로 페이지의 구조화 데이터에 AggregateRating 노드조차 포함되지 않습니다(판매자가 설정할 수 있지만, 기본 설치는 포함하지 않습니다).

GPTBot, ClaudeBot, PerplexityBot 모두 동일한 결과를 반환했습니다. 리뷰 없음. 격자의 세 번째 행도 세 칸 모두 비어 있습니다.

세 행. 세 열. 아홉 칸. 리뷰 텍스트가 있는 칸은 제로.

다시 한 번 말씀드립니다. 이것이 바로 결과이자 이 에세이의 존재 이유이기 때문입니다. Shopify App Store에서 가장 인기 있는 리뷰 플랫폼 세 곳, 인용 경제에서 가장 많이 사용되는 AI 크롤러 세 개(Googlebot이 네 번째이며 이에 대해서는 곧 다루겠습니다)를 대상으로 한 결과, 리뷰 텍스트는 아홉 칸 중 어디에도 없습니다. 크롤러는 여섯 칸에서 집계 평점을 가져왔으나, 세 칸에서는 아무것도 가져오지 못했습니다. 단 하나의 칸에서도 리뷰 문장 하나를 가져오지 못했습니다.

JavaScript 위젯을 사용하는 판매자는 인용 경제에서 집계 평점을 발행하고 있는 것입니다. 리뷰를 발행하는 것이 아닙니다.

인기 있는 리뷰 플랫폼 세 곳. 인기 있는 AI 크롤러 세 개. 아홉 번의 요청. 리뷰 문장 제로. 격자가 증거입니다. 격자가 곧 문제이기도 합니다.

합리적인 독자라면 물을 것입니다. Googlebot은 어떻습니까. Google은 JavaScript를 실행하므로, Googlebot이 이 문제를 해결해 주지 않을까요.

같은 세 페이지에 대해 같은 주에 Googlebot으로도 동일한 실험을 진행했습니다. 결과는 더 복잡하며, 별도의 단락을 할애할 가치가 있습니다.

Googlebot의 렌더러는 실제로 작동합니다. 그러나 Google 자신의 문서가 최소 2018년부터 명확히 밝혀왔고, John Mueller가 2024년과 2025년 내내 Office Hours에서 반복해 온 것처럼, 이것은 2단계 파이프라인입니다. 첫 번째 단계는 AI 크롤러와 마찬가지로 초기 HTML을 가져옵니다. 두 번째 단계는 페이지를 렌더링 큐에 넣고, 헤드리스 Chrome을 실행하고, JavaScript를 실행한 뒤 렌더링된 DOM을 인덱싱합니다. 두 번째 단계는 지연됩니다. 최선의 경우 몇 시간, 보통은 며칠, 우선순위가 낮은 페이지의 경우 몇 주가 걸립니다.

Google의 URL 검사 도구로 같은 세 페이지를 다시 가져왔을 때, 세 곳 모두 리뷰가 포함된 렌더링된 DOM을 반환했습니다. 따라서 이론적으로 Googlebot은 리뷰를 봅니다. 그러나 실제로는 초기 요청과 렌더링된 인덱스 사이의 시간 차이로 인해 Google 인덱스의 리뷰 코퍼스 최신성이 구조적으로 판매자의 실제 코퍼스보다 뒤처지게 됩니다. 어제 세럼을 리뷰한 구매자는 오늘 Google 인덱스에 없습니다.

그리고 그것은 Google의 이야기입니다. Gemini 훈련에 페이지가 사용되는지를 결정하는 라우팅 플래그인 Google-Extended는 Googlebot 크롤링에 의존합니다. ChatGPT, Claude, Perplexity는 그러한 관계가 없습니다. 2단계 렌더러가 없습니다. 집계 평점이 JavaScript 위젯에서 가져갈 수 있는 최대치입니다.

AI 답변 엔진이 상품 페이지를 읽을 때 실제로 무엇을 소비하는지에 대해서는 the engine the answer engine reads에서 별도로 다루었습니다. 이 에세이는 그 논증의 실증적 버전입니다. 엔진은 HTML을 읽고, HTML에는 리뷰가 없으며, 격자는 비어 있습니다.

두 번째 합리적인 반론: 샘플링한 세 스토어는 각 리뷰 플랫폼의 기본 App Store 설치를 사용하고 있었습니다. 각 플랫폼에는 선택적 서버사이드 렌더링 모듈이 포함된 엔터프라이즈 티어(Yotpo Enterprise, Okendo Plus, Loox Scale)가 있습니다. 더 높은 비용을 지불하는 판매자는 원칙적으로 서버 렌더링된 리뷰 스니펫을 사용할 수 있습니다.

이것은 사실입니다. 그러나 결과가 달라지지는 않습니다.

세 플랫폼 각각의 SSR 기능에 대한 공개된 기술 문서를 검토했습니다. 어느 경우에나 서버사이드 렌더링은 소수의 리뷰만 초기 HTML에 포함시킵니다. 일반적으로 3개에서 10개, 주로 가장 최근 것이거나 최고 평점을 받은 것입니다. 나머지 코퍼스는 여전히 클라이언트사이드입니다. 800개의 리뷰를 보유한 판매자가 SSR을 켜면 AI 크롤러에는 그 중 10개를 발행하는 것입니다. 나머지 790개는 여전히 위젯 안에 있습니다.

이것은 제로보다 낫습니다. 그러나 동등하지는 않습니다.

그리고 이것은 App Store 기본 판매자, 즉 2026년 Shopify 사용자의 중간값인 사람이 지불하지 않는 더 높은 가격 티어 뒤에 있습니다. 2026년 Shopify 스토어의 롱테일에서 기본 설치가 곧 설치입니다. 기본 설치는 보이지 않습니다.

명시할 가치가 있는 두 번째 기술적 세부사항이 있습니다. 각 플랫폼이 제공하는 서버 렌더링 스니펫 자체가 대부분의 경우 큐레이션됩니다. 상단에 긍정적인 리뷰, 최근 리뷰, 또는 고정된 시각적 블록에 맞는 짧은 리뷰를 선호합니다. 서버사이드로 렌더링되는 리뷰는 코퍼스의 무작위 샘플이 아닙니다. 마케팅에 수용 가능한 샘플입니다. 리뷰를 받는 크롤러는 가장 보기 좋은 10개를 받습니다. 복잡한 리뷰들, 즉 4점짜리 "좋은데 캡을 열기가 어려워요", 3점짜리 "낮에는 좋은데 밤에는 아니에요", 긴 리뷰들, 구매자가 검색할 구체적인 롱테일 키워드가 담긴 리뷰들은 여전히 JavaScript 위젯 안에, 여전히 보이지 않는 곳에 있습니다. 선택 문제가 렌더링 문제를 복잡하게 만듭니다. 크롤러는 적은 수의 리뷰만 보는 것이 아니라, 특정 종류의 적은 수의 리뷰만 보고, 롱테일 전체를 놓치고 있습니다.

the end of the review widget에서 위젯 형태가 구매자의 언어가 수행해야 하는 역할에 구조적으로 적합하지 않다고 주장했습니다. 이 에세이는 curl 형태의 확인입니다. 위젯은 구매자를 위해 렌더링됩니다. 크롤러를 위해서는 렌더링되지 않습니다. 판매자는 두 청중 모두를 위해 비용을 지불하지만, 그 중 하나에게만 도달합니다.

세 번째 반론은 때로 리뷰 플랫폼 마케팅 자료에서도 제기됩니다. AI 크롤러는 트래픽의 극히 일부에 불과합니다. Googlebot이 여전히 인덱스를 보유하고 있는데 왜 그들을 위해 최적화해야 할까요.

위에서 다룬 Googlebot의 최신성 문제는 잠시 제쳐두겠습니다. 더 근본적인 답은 AI 크롤러가 트래픽의 출처가 아니라 전환의 출처라는 점입니다. 민감성 피부를 위한 최고의 세럼을 ChatGPT에 물어보는 구매자는 이미 어떤 스토어의 리뷰를 인용한 답변의 하위에 있습니다. 그 답변에서 스토어에 도착한 구매자는 기존 오가닉 검색과 비교할 수 없는 구매 의도를 가지고 도착합니다. Adobe Analytics는 2025년 연말 소매 리포트에서, 생성형 AI 소스를 통해 유입된 방문자의 전환율이 기존 검색을 통한 방문자보다 9.4% 높았고, 사이트 세션 길이가 12% 더 길었다고 밝혔습니다.

격자의 빈 칸은 추상적인 것이 아닙니다. 각 빈 칸은 판매자가 얻지 못하는 하위 전환입니다. 리뷰어가 인용을 만들어냈을 문장을 썼습니다. 판매자는 그 문장을 수집했고, 크롤러는 그것을 보지 못했으며, AI 답변 엔진은 다른 누군가를 인용했습니다.

the citation economy에서 인용의 출처가 될 두 번째 기회는 없습니다. 인용을 소유한 브랜드가 구매자를 소유합니다. 그렇지 못한 브랜드는 다른 누군가의 답변에 경쟁자로 잠깐 언급되거나 아예 언급되지 않습니다.

실험과 동일한 형태로, 간략하게 정리합니다.

베스트셀러 상품 페이지의 URL을 복사합니다.

터미널을 열고, 사용자 에이전트를 GPTBot으로 설정한 curl 명령어를 실행하고, 출력을 저장한 후 텍스트 편집기로 엽니다. 최고 평점 리뷰에서 가장 독특한 구절을 검색합니다. 그 구절이 파일에 없다면, 리뷰는 ChatGPT의 훈련 및 검색 파이프라인이 가져오는 인덱스에 없는 것입니다. ClaudeBot과 PerplexityBot으로도 동일하게 진행합니다.

결과는 세 가지 중 하나입니다. 세 파일 모두에 구절이 있다면 서버사이드 렌더링 리뷰 시스템을 사용하고 있는 것입니다. 2026년 지배적인 Shopify App Store 앱들은 그렇지 않으니 소수의 행운을 가진 쪽에 속합니다. 일부 파일에는 있고 다른 파일에는 없다면, 특이한 설정(Judge.me의 부분 SSR, 또는 엔터프라이즈 SSR 티어 중 하나)을 사용하고 있으며 공백은 스위스 치즈 모양입니다. 어느 파일에도 없다면, 리뷰는 AI 크롤러를 위해 인터넷에 없는 것이며, 격자에서 다른 모든 사람과 같은 행에 있는 것입니다.

테스트 후에는 격자에서 자신의 위치를 알게 됩니다. 테스트에는 20분이 걸립니다. 그 다음 결정은 그 빈 칸을 어떻게 할 것인가입니다.

솔직한 답은 그다지 매력적이지 않습니다. 코퍼스의 정식 기록이 어디에 있는지를 바꾸는 것입니다. 지금은 위젯 공급업체의 JavaScript 안에 있어, 초기 페인트 직후 DOM에 수화됩니다. 구매자의 브라우저는 그 수화를 기다릴 만큼 인내심이 있습니다. 크롤러는 대부분 그렇지 않습니다.

따라서 해야 할 일은 코퍼스의 복사본을 공급업체의 CDN 밖으로 꺼내 Shopify가 첫 바이트에 제공하는 HTML 안에 넣는 것입니다. 반드시 전부일 필요는 없습니다. 최근 100개의 리뷰면 대부분의 역할을 합니다. 특히 최고 평점, 가장 최근 것, 그리고 4점 및 3점 롱테일 전반에 걸친 샘플이 포함된다면 더욱 그렇습니다. 판매자가 별점과 사진의 시각적 효과를 좋아한다면(대부분이 그렇습니다) 위젯은 페이지에 남아 있어도 됩니다. 중요한 것은 위젯의 위나 아래 어딘가에, 서버 렌더링된 마크업으로, 날짜, 작성자 핸들, 별점, 그리고 고객이 쓴 실제 단락을 담은 의미론적 article 목록이 있는 것입니다.

그 논증은 추상적으로는 reviews are language not inventory에 있습니다. 위의 격자는 동일한 논점의 구체적 버전입니다. 언어가 JavaScript에 있기 때문에 칸이 비어 있고, 언어가 크롤러가 첫 번째 요청에서 읽을 수 있는 HTML로 이동하는 순간 칸이 채워집니다.

기술적인 작업량은 작습니다. 검토한 모든 리뷰 플랫폼은 코퍼스에 대한 JSON 엔드포인트를 제공합니다. Shopify 테마는 요청 시 해당 엔드포인트를 호출하고, 응답을 파싱하여, 상품 템플릿에 article로 렌더링할 수 있습니다. 대부분의 경우 테마 작업 하루, 때로는 더 적게, 판매자가 응답을 사전 캐시하고 엣지에서 제공하기를 원한다면 가끔 하루가 더 걸릴 수 있습니다.

1년 후, 격자가 채워진 판매자들은 더 예쁜 위젯을 선택한 사람들이 아닐 것입니다. 조용히 다른 페이지를 출시한 사람들일 것입니다.

위젯 공급업체가 위젯 공급업체인 것을 탓하지는 않습니다. 그들은 만들기 위해 지어진 것을 제공합니다. UI 한 조각: 별점, 개수, 사진 캐러셀, 인증된 구매자 배지. 그것이 2015년의 요구사항이었고, 2026년 대부분의 판매자 온보딩 미팅에서도 여전히 그것이 요구사항입니다. 그 요구사항은 그 자체로는 충족되었습니다.

2015년 이후 바뀐 것은 요구사항이 아닙니다. 아무도 요구사항서를 작성하지 않은 두 번째 청중입니다. 크롤러들은 지난 2년 동안 조용히 온라인 상태가 되었고, 서버가 첫 번째 요청 시 건네주는 HTML을 무엇이든 읽으며, 그들이 가져가는 것은 나중에 판매자가 결코 보지 못하는 어떤 다른 맥락에서 어떤 구매자의 답변에 인용됩니다. 그 두 번째 청중은 항상 위젯의 역할에 내포되어 있었습니다. 이제 그것이 둘 중 더 큰 청중이 되었고, 위젯이 가장 덜 서비스할 준비가 된 청중입니다.

자신의 스토어에 아직 curl을 실행해 보지 않았다면, 격자에서 어느 쪽에 있는지 실제로 모르는 것입니다. 그러니 해보십시오. 터미널 명령어 하나, 베스트셀러 상품 URL, 세 크롤러를 차례로. 최고 평점 리뷰에서 가장 독특한 줄을 grep으로 검색합니다. 거기에 없다면(없을 것이라 예상합니다만), AI 답변 엔진이 스토어를 읽으러 왔을 때 정확히 무엇을 보는지를 방금 확인한 것입니다. 그 결과와 구매자가 브라우저에서 보는 것 사이의 공백 속에 다음에 해야 할 일이 있습니다.