robots.txtとAIクローラー：ストアの引用を妨げる設定をしていませんか？
セキュリティプラグインや初期設定が静かにAIクローラーを遮断していることがあります。全公開せずにrobots.txtを監査する方法を解説します。
robots.txtがAIクローラーをブロックしてしまう理由
意図的なケースはほとんどありません。多くのブロックは引き継ぎによって発生します。セキュリティプラグイン、CDNのプリセット、ホスティングの初期設定、あるいは2023年頃に広まった「AIにコンテンツを学習させない」という助言にもとづいてコピーされたテンプレートが、AIボットへのDisallowルールを追加したまま残っています。そのルールはファイルの中に何年も放置され、誰も見直しません。
当時の意図は、自社コンテンツをモデルの学習から守ることでした。しかし今となっては、その同じルールが、購買検討中のユーザーへAI回答エンジンが表示するライブの引用からレビューを排除してしまう副作用を持ちます。学習へのアクセスと回答へのアクセスは別物ですが、1行のDisallowがその両方をブロックすることがあります。
確認すべきAIクローラーのUser-agent一覧
AI回答エンジンはそれぞれ異なるボットを送り込んできます。1つをブロックしても他はブロックされません。robots.txtを開いてUser-agentの行を確認し、各ブロックに付与されたDisallowルールを読み取ってください。
あるUser-agentのルールはそのエージェントにのみ適用されます。つまり、Googleのオーガニック検索はOKにしながら、AI Overviewsにデータを供給するボットだけを静かに遮断するという設定も存在します。
- GPTBot と OAI-SearchBot：ChatGPT検索を支えるOpenAIのクローラーです。
- ClaudeBot と Claude-User：Anthropicが使用するクローラーです。
- PerplexityBot：Perplexityが引用するページを取得するクローラーです。
- Google-Extended：通常のGooglebotとは別に、GeminiおよびAI Overviewsを管理します。
クローラーをブロックするとAI回答の引用から本当に外れますか？
そうなるケースが多いです。AI回答エンジンは自前のクローラーを使ってライブページを読み取ろうとし、robots.txtはそのクローラーが従うゲートです。ゲートが閉まっていれば、エンジンには引用できるレビューのコピーがなく、ブランド名を入力しない買い物客へのAI回答から外れることになります。
正直に補足しておくと、robots.txtはリクエストであり、壁ではありません。主要なAIボットは概ね準拠しているため、Disallowルールはそれらに対して信頼性高く機能します。ただし、ファイルを無視するアクターを止めることはできず、セキュリティ上の制御でもありません。ここで重要なのはより限定的な点です。引用されたいなら、引用するボットをブロックしないことです。
全公開せずにrobots.txtを監査する方法
完全なロックダウンか完全な公開かという二択ではありません。監査の目的は、バイヤー向けAI回答に影響するクローラーへの偶発的なブロックを取り除くことです。意図して設定したブロックはそのままにします。
順を追って作業し、何の変化が起きたかを確認できるよう、一度に変更するのは1つにとどめてください。
- ストアのドメイン/robots.txtを開き、すべてのUser-agentブロックとそのDisallowルールを一覧にします。
- GPTBot、ClaudeBot、PerplexityBot、OAI-SearchBot、Google-Extendedを対象としたDisallowにフラグを立てます。
- ボットごとに判断します。意図的なブロックはそのままにし、引き継いだだけで意図していなかったブロックは削除します。
- レビューページや商品ページのURLが、広範なDisallowパスに含まれていないかを確認します。
クローラーの制限を解除してもレビューが引用されない場合
アクセスは必要条件ですが十分条件ではありません。クローラーを受け入れることが意味を持つのは、クローラーが到達したときに読み取れるものがある場合だけです。すべてのAIボットを歓迎していても、レビューがJavaScriptウィジェット内にレンダリングされていれば、クローラーにはそのコンテナが空のコンテナとして見え、引用されないままです。
ほとんどのレビューアプリはページ上の買い物客向けに作られており、ウィジェットで完結しています。その結果、今しがた制限を解除したはずのクローラーに対してレビューが読み取れない状態になります。既存のレビューを読み取り可能にし、関連性を高め、検索やAI回答で引用されるようにすること、それがBeyondReviewsが埋めようとしているギャップです。robots.txtがドアを開け、読み取り可能なレビューHTMLがエンジンの持ち帰る中身になります。
noindexタグやllms.txtとの違いは何ですか？
それぞれが制御するものが異なります。robots.txtはクローラーがページを取得できるかどうかを管理します。noindexタグはクローラーの取得は許可しますが、インデックス登録しないよう求めるより穏やかなシグナルであり、取得が許可された後にのみ参照されます。llms.txtは別の提案であり、モデルに優先コンテンツを示すものですが、誰かをブロックする力はありません。
AI引用においてrobots.txtが根幹をなします。クローラーがDisallowされていれば、その後のどの要素も機能しません。ページを読む機会すらないため、noindexタグもllms.txtのヒントも考慮されることがないからです。
まとめ
robots.txtは数分で確認できる、影響の大きいチェック項目です。引き継いだ1つのDisallowルールが、誰にも気づかれないままストアをAI回答から除外することがあります。修正はたいていの場合、意図せず追加した1行を削除するだけです。AIクローラーのUser-agentを監査し、意図して設定したブロックは残し、引き継いだだけのブロックは削除してください。そのうえで、ドアが開いたときにクローラーが持ち帰れるものが実際に存在するか、レビューが読み取れる形式になっているかを確認してください。
- robots.txtファイルはどこにありますか？
- ドメインのルートにあります。ブラウザのアドレスバーにストアのドメイン/robots.txtと入力してください。ページが空白か404を返す場合、ルールが設定されていないことを意味し、AIクローラーはブロックされていません。ただし、プラットフォームのデフォルト設定に完全に依存している状態でもあります。
- AIクローラーを許可すると、コンテンツがモデルの学習に使われますか？
- その可能性はあり、これは真剣に考慮すべきトレードオフです。一部のクローラーはライブ回答のために取得し、一部は学習のために取得し、両方を行うUser-agentも存在します。学習への使用が懸念される場合は、すべてをブロックして引用機会も失うのではなく、回答向けのボット（OAI-SearchBotやPerplexityBotなど）は許可しながら、学習向けのルールは残すという方法があります。
- robots.txtはクローラーを実際に止めますか、それとも単なる要請ですか？
- 準拠するクローラーが従う要請です。主要なAIボットは概ね準拠しているため、引用する相手に対しては信頼性高く機能します。ただし、セキュリティ上の境界ではありません。ファイルを無視するアクターはページを読み取ることができます。機密性のある情報に対するアクセス制御としてrobots.txtを使用することは避けてください。
- クローラーを許可すれば、自動的にレビューが引用されますか？
- なりません。クローラーを許可するのはブロックを取り除くことだけです。エンジンが引用するには、読み取れるレビューテキストが必要です。レビューがクローラーに空のコンテナとして見えるJavaScriptウィジェット内にレンダリングされていれば、完全にブロックが解除されていても引用されないままです。アクセスと可読性は別々の課題です。