GEO・AI検索

御社のサイトはChatGPTをブロックしていませんか?B2BサイトのAIクローラー向けrobots.txt

コンテンツの前に、まずアクセスを確認しましょう。多くの輸出企業のサイトは、robots.txt、CDN、セキュリティプラグインによって、AI検索のクローラーをうっかりブロックしています。検索用ボットと学習用ボットの見分け方と、何を許可すべきかを解説します。

ToucHigh リサーチチーム公開日 6分で読めます日本語
紫の目をした親しみやすいAIの吹き出しが、オレンジのバケツをきれいな石の井戸に下ろしている。井戸の周りには実験用フラスコ、定規、製品のボトル、白紙のクリップボードがあり、近くには暗い色の鎖がほこりをかぶって放置されている。
“
この記事が答える質問

昨年、IT部門がWebサイトで「AIボット」をブロックしました。ChatGPTに当社の工場がまったく表示されないのはそのせいでしょうか?何を許可すべきですか?

短い答えその可能性は十分にあります。AI企業は、検索用とモデル学習用で別々のボットを運用しています。OpenAIによると、OAI-SearchBotをオプトアウトしたサイトはChatGPTの検索回答に表示されず、GPTBotが管理するのは学習だけです。検索用クローラー(OAI-SearchBot、PerplexityBot、Googlebot、Bingbot)を許可し、GPTBotやGoogle-Extendedなどの学習用ボットについては別途判断し、robots.txtに関係なくCDNやファイアウォールがそれらをブロックしていないか確認しましょう。

要点

  • OpenAIのOAI-SearchBotはChatGPT検索にサイトを表示させるためのもので、GPTBotは学習用です。設定は独立しているので、検索を許可して学習を拒否できます。
  • OpenAIによると、robots.txtの変更がChatGPT検索に反映されるまで約24時間かかることがあります。
  • PerplexityBotはPerplexityの検索結果でサイトを表示・リンクするもので、Perplexityによると基盤モデルの学習には使われません。
  • Google-Extendedは、コンテンツをGeminiの学習とグラウンディングに使うかどうかを制御します。Googleによると、Google検索への掲載や順位には影響しません。
  • robots.txtで許可していても、ファイアウォールやCDNがクローラーをブロックすることがあります。そのためPerplexityはIPアドレスの範囲とWAFの設定手順を公開しています。

驚くほど多くの輸出企業のサイトが、地味な理由でAI検索から見えなくなっています。クローラーが中に入れないのです。この2年のどこかで、誰かが「AIボットをブロック」のルールを追加したり、CDNのボット対策をオンにしたり、セキュリティプラグインを入れたりしました。人間にはサイトが問題なく表示されるので、誰も気づきません。そしてチームは、AI検索エンジンが一度も読むことを許されていなかったコンテンツを、何カ月もかけて書き直すことになります。

このガイドは、工場やB2Bのサイトのための30分の技術チェックです。これだけで見えるようになるわけではありませんが、アクセスが壊れていれば、他に何をしても意味がありません。

どのAIクローラーが検索用で、どれが学習用なのか?

要点はこうです。AI企業は、回答に表示するページを見つけるボットと、モデル学習のためにコンテンツを集めるボットを分けています。それぞれについて異なる選択ができます。

企業ユーザーエージェント目的(各社のドキュメントによる)
OpenAIOAI-SearchBotChatGPTの検索機能にWebサイトを表示させます。オプトアウトしたサイトはChatGPTの検索回答に表示されませんが、ナビゲーション用のリンクとして表示されることはあります。
OpenAIGPTBotOpenAIの基盤モデルの学習に使われる可能性のあるコンテンツをクロールします。これを禁止すると、コンテンツを学習に使うべきでないという意思表示になります。
OpenAIChatGPT-User特定のユーザー操作のためにページを訪問します。OpenAIによると、robots.txtのルールが適用されない場合があり、検索に何を表示するかの判断には使われません。
PerplexityPerplexityBotPerplexityの検索結果でWebサイトを表示・リンクします。AI基盤モデルのためのコンテンツのクロールには使われません。
PerplexityPerplexity-Userユーザーが質問したときにページを取得します。ユーザーが取得を要求しているため、通常はrobots.txtを無視します。
GoogleGoogle-ExtendedGoogleがクロールしたコンテンツを、Geminiの学習とグラウンディングに使ってよいかを制御するrobots.txtのトークン。Google検索への掲載や順位には影響しません。

Google検索自体のAI機能は仕組みが違います。Googleのガイダンスによると、AIは検索に組み込まれているため、AI OverviewsとAI Modeを含め、検索のためにサイトがどうクロールされるかを制御するのはGooglebot向けのrobots.txtのルールです。「AIをオプトアウトする」ためにGooglebotをブロックすると、通常の検索結果からも消えてしまいます。

工場のサイトのrobots.txtには何を書くべきか?

ほとんどの輸出メーカーにとって目的は見つけてもらうことなので、検索用クローラーは許可しましょう。学習用クローラーを許可するかどうかは経営判断です。拒否してもAI検索から消えるわけではありません。シンプルな出発点は次のようになります。

robots.txtの行効果
User-agent: OAI-SearchBot / Allow: /ChatGPTの検索回答の表示対象になる
User-agent: PerplexityBot / Allow: /Perplexityの検索結果の表示対象になる
User-agent: Googlebot / Allow: /AI OverviewsとAI Modeを含むGoogle検索
User-agent: Bingbot / Allow: /Bing検索
User-agent: GPTBot / Allow または DisallowOpenAIのモデル学習についての自社の選択
User-agent: Google-Extended / Allow または DisallowGeminiの学習とグラウンディングについての自社の選択
Sitemap: https://www.example.com/sitemap.xmlクローラーがすべてのページを見つけやすくなる

販売店ポータルや価格表などの非公開エリアは、robots.txtだけでなくログイン保護でクローラーから守りましょう。Googleのrobots.txtのドキュメントは、robots.txtはページをGoogleに表示させないための仕組みではないと明言しています。そのためにはnoindexかパスワード保護を使います。

robots.txtで許可していても、なぜファイアウォールがAIクローラーをブロックしてしまうのか?

robots.txtはお願いであり、CDN、ファイアウォール、セキュリティプラグインは門です。多くのボット対策機能は、見慣れないクローラーがrobots.txtを読む前に、チャレンジを課したりブロックしたりします。GoogleはAI機能のための基本として「robots.txtと、CDNやホスティングのインフラでクロールが許可されていることを確認する」ことを挙げています。Perplexityはさらに踏み込み、サイト所有者が同社のボットを許可できるよう、IPアドレスのリストとWebアプリケーションファイアウォールのルールの手順を公開しています。OpenAIもクローラーのIPアドレスの範囲を公開しています。

ホスティングの管理者に3つ質問しましょう。ボット対策はオンになっているか、許可リストはあるか、上記の検索用クローラーはそこに入っているか。次に、サーバーログで表のユーザーエージェントを確認します。現れていてエラーを受けている、またはまったく現れないなら、問題が見つかったということです。

30分でアクセスを確認するには?

  1. yoursite.com/robots.txtを開きます。User-agent: *またはAIのユーザーエージェントの下にDisallow: /がないか確認します。
  2. CDNやファイアウォールを確認し、ボット対策、国別ブロック、「AIスクレイパー」の切り替えがないか見ます。
  3. サーバーログを検索し、OAI-SearchBot、PerplexityBot、Googlebotと、それらが受け取っているステータスコードを確認します。
  4. 主要な製品ページと生産能力ページについて、Google Search Consoleでインデックス状況を確認します。
  5. 1日たってからChatGPTで再テストします。OpenAIによると、robots.txtの変更が検索に反映されるまで約24時間かかることがあります。
  6. 次のセキュリティ更新で元に戻されないよう、方針を書面に残します。

クローラーを許可すれば、AIは推薦してくれるのか?

いいえ。アクセスによって表示対象にはなりますが、選ばれるわけではありません。クローラーがサイトを読めるようになったら、次の課題は、ページがバイヤーの質問に具体的な事実で答えているか、会社情報がWeb全体で一貫しているかです。それでも、まずはアクセスです。GEOで最も安上がりな修正であり、最も見落とされがちなものです。

GEO Autopilot · Social Autopilot · Ads

ToucHighにできること

ToucHighのGEO Autopilotは、すべての案件をこの種のチェックから始めます。

  • ChatGPT、Perplexity、Google AI、Geminiのどこでサイトが見えていないかの診断。
  • ページ、回答、エンティティデータなど、作成・公開まで代行する修正。
  • その後のAI引用シェアの追跡。門を開いた効果を確認できます。

30分の戦略相談を予約してください。御社サイトのAI可視性をその場で確認します。

工場・B2Bサプライヤーの方へ:ToucHighのAI検索でのサプライヤー可視性をご覧ください。 可視性を商談につなげたい場合は、戦略ファーストのアウトバウンドサービスToucHigh PROをご覧ください。

よくある質問

GPTBotをブロックすると、ChatGPTに当社のサイトが表示されなくなりますか?

OpenAIによれば、そうはなりません。GPTBotはコンテンツをモデル学習に使ってよいかを管理し、OAI-SearchBotはChatGPT検索への表示を管理します。2つの設定は独立しているので、GPTBotを禁止してもOAI-SearchBotは許可できます。

Google-Extendedをブロックすると、AI Overviewsから外れますか?

いいえ。Googleによると、Google-ExtendedはGoogle検索への掲載に影響せず、AI OverviewsとAI Modeは検索の一部としてGooglebotで制御されます。スニペットとAI機能に表示される内容を制限するには、nosnippet、data-nosnippet、max-snippet、noindexを使うようGoogleは示しています。

AIに見つけてもらうにはllms.txtファイルが必要ですか?

Googleによると、同社のAI機能に表示されるために、新しい機械可読ファイルやAI用のテキストファイルは必要ありません。AIツール向けの追加の要約としてllms.txtを公開するサイトもありますが、クロール可能なページの代わりにはなりません。

robots.txtを修正してから、どのくらいで変化が見られますか?

OpenAIによると、検索についてはrobots.txtの更新にシステムが対応するまで約24時間かかることがあります。引用されるかどうかは引き続きコンテンツ次第なので、翌日ではなく、その後数週間かけて測定しましょう。

参考資料

  1. Overview of OpenAI Crawlers — OpenAI
  2. Perplexity Crawlers — Perplexity
  3. Google's common crawlers (Google-Extended) — Google Search Central
  4. Introduction to robots.txt — Google Search Central
  5. AI features and your website — Google Search Central

この記事を書いた理由この記事を書いたのは、新しい工場のサイトで私たちが最初に確認するのがAIクローラーが入れるかどうかであり、その答えが誰もが思うよりずっと頻繁に「いいえ」だからです。

ToucHigh

米国のAI検索で、どこが見えていないかを確認

30分の無料相談を予約していただければ、ストアのAI可視性をその場で診断します。

30分の戦略相談を予約 →ToucHighにログイン