この記事でわかること
- GPTBot・OAI-SearchBot・ChatGPT-User・Google-Extendedの役割の違い
- 自社のrobots.txtが意図せずAIを締め出していないかの確認手順
- 「検索には出たい／学習には使わせたくない」場合の書き方
- 設定を直しても引用されないときに見るべき場所
結論：ChatGPTの検索回答に自社サイトを出したいなら、止めてはいけないのはGPTBotではなくOAI-SearchBotです。GPTBotは生成AIの学習用で、許可・拒否は検索表示とは別に設定できます。Google-ExtendedもGoogle検索の掲載や順位には影響しません。まず自社のrobots.txtを開き、AI系のボットを丸ごと拒否する記述がないかを確かめてください。
AIのクローラーは「目的」で4つに分かれる
「GPTBotをブロックすると、ChatGPTに自社が出なくなる」と受け取られがちですが、公式の説明ではそうなっていません。OpenAIは用途の違うクローラーを分け、それぞれ独立して設定できるとしています。OpenAIのクローラー概要｜OpenAI
| 名前 | 主な用途 | 止めると起きること |
|---|---|---|
| OAI-SearchBot | ChatGPTの検索機能にサイトを表示するための検索用クローラー | ChatGPTの検索回答に表示されなくなる（ナビゲーション用のリンクとしては出る場合がある） |
| GPTBot | 生成AIの基盤モデルの改善に使う可能性のあるコンテンツの収集 | 学習に使われる可能性のあるクロールを断る。検索表示の可否とは別設定 |
| ChatGPT-User | ユーザーが質問した際などに、操作に応じてページを閲覧する | 自動クロールではないため、robots.txtのルールが適用されない場合がある |
| Google-Extended | Geminiの学習と、Gemini上でGoogle検索の内容を根拠として使う用途（グラウンディング）の可否を管理するトークン | Google検索への掲載にも、検索順位のシグナルにも影響しない（Google公式の記載） |
出典：OpenAIのクローラー概要｜OpenAI／Googleの一般的なクローラー｜Google検索セントラル
要するに、「AIに引用されたい」と「学習に使われたくない」は両立できるということです。両立させる設定は第3章で書きます。
まず自社のrobots.txtを確認する
設定を変える前に、現状を見ます。意図せずAIを締め出している例は、「過去に誰かがコピーして貼ったrobots.txt」や「セキュリティ系の設定で一括拒否」から生まれやすいため、次の順で確認してください。
5分でできる確認手順
- ブラウザで「自社ドメイン/robots.txt」を開き、記述が表示されるか確かめる（404なら制限なしの扱い）
- 「User-agent: GPTBot」「OAI-SearchBot」「Google-Extended」の行と、直下の「Disallow: /」の有無を探す
- 「User-agent: *」の直下に「Disallow: /」が書かれていないか確認する（全クローラーの拒否になる）
- サーバーの管理画面、CDN、セキュリティ系サービス、WordPressのプラグインに、ボット単位のブロック設定がないか見る（robots.txtに書かれていなくても弾かれることがある）
- 制作会社や情報システム担当に、AIボットを意図して止めた経緯がないか聞く
参考までに、LnXのrobots.txtは「User-agent: * / Allow: /」とサイトマップの指定のみで、AI系のボットを個別には止めていません。中小企業のコーポレートサイトや集客用メディアであれば、これが出発点になることが多いはずです。
目的別のrobots.txtの書き方3パターン
パターンA：何も止めない（検索にも出たい・学習も気にしない）
User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
パターンB：検索には出たい／学習には使わせたくない
公式の説明にあるとおり、OAI-SearchBotを許可しGPTBotを拒否する形です。Google-Extendedも同じ考え方で、検索掲載に影響させずに止められます。
User-agent: OAI-SearchBot Allow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: /
パターンC：AI関連をまとめて止める
User-agent: OAI-SearchBot Disallow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: /
注意：パターンCにすると、ChatGPTの検索回答にサイトが表示されなくなります。集客目的のサイトでは、通常は選ぶ理由がありません。会員限定コンテンツや契約上AI利用を断る必要がある資料など、特定のディレクトリだけに限定する書き方（Disallow: /members/ など）を検討してください。
Google-Extendedには専用のUser-Agent文字列がなく、クロール自体は既存のGoogleのUser-Agentで行われ、robots.txtのトークンとして管理されます。OpenAIは、OAI-SearchBotを検索に出したい場合は、公開されているIPアドレス範囲からのアクセスも許可することを推奨しています。
反映までの時間と、効いたかの確認方法
OpenAIは、検索用のrobots.txtの更新がシステムに反映されるまで約24時間かかるとしています。GPTBotなど他のボットの反映時間は、公式ページに記載がありません。変更した当日に結果が見えなくても、故障とは限りません。
確認は次の2段階で行います。
- サーバーのアクセスログで、各ボットのUser-Agentが来ているかを見る（レンタルサーバーの管理画面で取得できる場合があります）
- ChatGPTなどに実際に質問して、自社が回答や引用元に出るかを定点観測する。手順はChatGPTやAI概要で自社の引用を確認する方法にまとめています
回答は毎回変わるため、1回の結果で良し悪しは判断できません。月1回、同じ質問で見続けてください。
ブロックして「起きること」と「起きないこと」
起きること
設定どおりに影響するもの
- OAI-SearchBotを拒否すると、ChatGPTの検索回答に表示されなくなる
- GPTBotを拒否すると、学習に使われる可能性のあるクロールを断れる
- 全体を「Disallow: /」にすると、対応するボットのクロールを断る意思表示になる
起きないこと
期待しすぎないもの
- Google-Extendedを拒否してもGoogle検索の掲載・順位は変わらない
- GPTBotを許可しただけで、ChatGPTに引用される保証はない
- robots.txtは「お願い」の仕組みで、アクセス制限そのものではない。機密情報はログインや認証で守る
特に3つ目は見落とされがちです。robots.txtに書いても、公開されているページは公開されたままです。外に出したくない情報は、公開しないことが前提になります。
設定を直しても引用されないときに見る場所
クローラーを許可していることは、引用される「入場資格」にすぎません。許可しているのに出てこない場合は、次の順で見直します。
- ページ自体が検索に載っているか：Googleにインデックスされていないページは、そもそも材料になりにくい。状況の見方は検出・クロール済み未登録の対処ガイドを参照
- 見出しの直後に結論があるか：質問に対応する箇所を抜き出せる形になっているか
- 社名・サービス名の表記が揃っているか：サイト内外で食い違うと、同一の事業者と扱われにくい
- 一次情報があるか：自社の数値・料金・事例など、他のページでは代替できない情報
具体策はChatGPT SEO対策｜表示・引用される7つの施策で整理しています。
LnXの見解
AIボットの設定は、「全部止める」か「全部放置する」かの二択で語られがちですが、実務では目的別に分けるのが正解です。集客が目的のサイトなら、検索用のOAI-SearchBotは止めない。学習への利用に抵抗があるなら、GPTBotとGoogle-Extendedだけを止める。この整理で、ほとんどの会社は迷わず決められます。
ただし、設定は入口にすぎません。引用されるかどうかを決めるのは、結論の置き方・一次情報・表記の統一といったコンテンツ側です。LnXは、診断から記事制作までをSEOとAIOを同時に満たす形で支援しています。まず現状のサイトがAIからどう見えているかを知りたい場合は、無料のAIO診断をご利用ください。
※ボットの仕様や名称は更新されることがあります。実際の設定前に、OpenAIとGoogleの最新の公式ドキュメントも確認してください。
よくある質問
QGPTBotをブロックすると、ChatGPTの検索に出なくなりますか？
OpenAIの説明では、ChatGPTの検索表示に関わるのはOAI-SearchBotで、GPTBotは生成AIの学習用です。両者は別々に設定でき、GPTBotを拒否してもOAI-SearchBotを許可していれば検索用のクロールは受け付けます。
QGoogle-Extendedをブロックすると、Google検索の順位は下がりますか？
Googleの公式記載では、Google-Extendedは検索への掲載に影響せず、検索順位のシグナルにも使われません。Geminiの学習とグラウンディングに関するトークンです。
QChatGPT-Userはrobots.txtで止められますか？
OpenAIによると、ChatGPT-Userはユーザーの操作に応じたページ閲覧のため、robots.txtのルールが適用されない場合があります。検索からのオプトアウトの管理は、OAI-SearchBotの設定で行います。
Qrobots.txtを変えてから、どのくらいで反映されますか？
OpenAIは、検索用の設定がシステムに反映されるまで約24時間かかるとしています。GPTBotなど他のボットの反映時間は公式ページに記載がありません。
Qrobots.txtが無い（404）場合、AIにクロールされますか？
robots.txtが無い場合は、拒否する指定が無い状態です。ただし、サーバーやCDNのボット対策で弾かれていないかは別に確認が必要です。