Google、OpenAI、Microsoft、Anthropicは、ウェブサイト運営者がrobots.txtでAI学習への利用意向を複数のAI事業者にまとめて伝えられる共通シグナルの策定を進めています。各社は2027年の導入を予定しており、Microsoftは学習と生成回答への情報利用を別々に設定できる仕組みも加えます。
robots.txtでAI学習の意向をまとめて指定
robots.txtは、ウェブサイトの運営者が検索エンジンなどのクローラーに、サイト内のページへのアクセスを許可するか拒否するかを伝えるファイルです。今回の共通シグナルでは、参加するAI事業者が共通のポリシートークンを読み取り、サイト運営者のAI学習に関する設定を受け取る仕組みを想定しています。
これまでは、運営者がクローラーを事業者ごとに識別し、それぞれのルールを管理する必要がありました。共通シグナルに対応すれば、複数のAI事業者に同じ意向を一度に伝えたり、事業者ごとに設定を分けたりできます。
この仕様は、インターネット技術の標準化団体IETFのAI Preferencesワーキンググループで協議されています。RFC 9309が定めるrobots.txtのルールは、クローラーに順守を求めるもので、アクセス権限を与えたり制限したりする認証の仕組みではありません。
Googleは既存設定との併用を想定
Googleは、robots.txtで学習を拒否する共通設定があり、Google-Extendedが個別に指定されていない場合、Google-Extendedを拒否したものとして扱う方針です。Google-Extendedは、検索でのクロールを許可しながら、Geminiによる学習を拒否するなど、Google向けにAI利用を制御する仕組みです。
共通シグナルの導入後も、Google-Extendedなど各社独自のクローラー制御は併用できます。Googleは、共通設定で広い範囲の意向を伝えつつ、個別のAI事業者向け設定で細かく調整できるとしています。
Googleは2027年に新しい制御の導入を目指しています。共通シグナルに加え、IETFではAI利用に関する用語や選好の標準化に向けた議論も続いています。
OpenAIは数カ月以内の対応を目指す
OpenAIは、robots.txtの共通シグナルを尊重する方針を示し、今後数カ月以内の対応を目指しています。実装の詳細は対応時に改めて知らせるとしています。
OpenAIは、新しいシグナルが既存のクローラー制御に取って代わるものではないと説明しています。ウェブサイト運営者がページへのアクセスを管理する既存の制御手段も、引き続き適用される方針です。
OpenAIは、IETFのワーキンググループで共通シグナルの策定に参加しています。また、他のAI事業者にもシグナルを尊重するよう呼びかけ、標準化の議論や環境の変化に応じて運用を見直す考えを示しました。
Microsoftは学習と回答への利用を分ける
Microsoftは共通のAI学習設定に対応するほか、生成AIの回答を作る際にウェブ情報を参照する「グラウンディング」の設定を独立させます。AI学習の設定はサイトやパス単位でrobots.txtに記載でき、個別ページの設定で上書きすることもできます。
グラウンディングはページ単位で設定します。Microsoftは利用を止める「Disallow」と、Microsoftが運営する製品では利用を認め、第三者向けサービスでは使わせない「DisallowExtended」を用意します。
Microsoftは2027年2月1日から新しい設定を適用する方針です。現在NoArchiveまたはNoCacheを使っているサイトには、2027年3月1日までに新しい設定を掲載するよう案内しており、移行期間中のグラウンディング設定にはBing Webmaster Toolsへの登録も求めています。
