AI検索に出ないときに確認したいCloudflareの設定
「AIの学習を拒否する」と「Botをブロックする」は、別の設定です。
選び方によっては、検索のためのアクセスまで止まります。
確認する順番を、Cloudflareの公式資料をもとにまとめました。
目次
Cloudflareの9月15日の発表を読んでいて、気になったことがあります。AIの学習を拒否する設定と、Botをブロックする設定は、同じ操作ではありませんでした。
ChatGPTやPerplexityに自社のサイトが出てこないとき、まず疑うのは記事の中身だと思います。料金の説明が足りないのか、実績をもっと載せたほうがいいのか。
ただ、Cloudflareを使っているサイトなら、その前に確かめたいことがあります。AIがサイトの情報を取りに来られる状態になっているかどうかです。学習に使われたくなくて入れた設定が、検索のためのアクセスまで止めていることがあります。
同じ会社のAIでもアクセスの目的が違う
Cloudflareは、AIに関係するアクセスを3つの行動に分けています。
| 分類 | Cloudflareの説明 |
|---|---|
| Search | あとで質問に答えられるように、内容を集めて索引にする |
| Agent | 人の代わりに、その場で用事を済ませるために動く |
| Training | モデルの学習や追加学習のために内容を集める |
1つのBotが、複数の行動を持つこともあります。提供している会社が同じなら用途も同じ、とは限りません。
「公開している情報は検索で見つけてもらいたい。でも、モデルの学習に使われるのは避けたい」。そう考える会社は多いと思います。サービスの内容や料金、営業時間を調べに来るアクセスと、学習用に集めていくアクセスでは、サイトを運営する側の受け止め方が違うからです。
その場合は、AIに関係するアクセスをまとめて止めるのではなく、どの用途を止めたいのかを先に決めることになります。
学習を拒否する設定とブロックする設定は別のもの
9月15日の発表で、Trainingの選択肢に「Disallow AI Training」が加わりました。検索と学習を兼ねているクローラーには、アクセスを止めずに「学習には使わないでほしい」という意思をrobots.txtで伝えます。学習専用のクローラーはブロックします。検索のための取得は残ります。
一方、Trainingで「Block」を選ぶと、結果が変わります。Cloudflareは、この場合はGooglebot、Bingbot、Applebotもサイトに届かなくなり、検索も含めて止まると書いています。この3つは、検索と学習の両方に関わるクローラーだからです。
Searchを「Allow」にしていても、Trainingを「Block」にしていれば、検索に影響が出るおそれがあります。これはCloudflareの言葉ではなく、発表を読んだ僕の受け取り方です。
新しく追加するドメインの初期設定も、この発表で示されました。
| サイトの種類 | Search | Training | Agent |
|---|---|---|---|
| 広告で収益を得ているサイト | Allow | Disallow AI Training | 広告のあるページでブロック |
| 広告のないサイト | Allow | Allow | Allow |
対象は9月15日以降に追加したドメインだけです。それより前から使っているドメインは、以前の設定を引き継いでいます。古い解説記事の画面と、いまの自分の画面が違っていても不思議ではありません。
学習を拒否する意思が、すべての相手に同じように届くわけでもありません。発表の時点では、「Disallow AI Training」を選んでも、Bingにはrobots.txt経由で自動的には伝わらないと書かれています。
robots.txtで許可していても届かないことがある
robots.txtは、クローラーに「ここは取得してよい」「ここは取得しないでほしい」と伝えるファイルです。置いただけで、従わないアクセスを技術的に止められるわけではありません。Cloudflareも、robots.txtに従うかどうかは相手の任意だと説明しています。
実際にアクセスを止めるのは、CloudflareのAI Crawl Controlや、WAF（サイトへの通信を検査して、条件に合うものを止める仕組み）のほうです。
そのため、robots.txtでは取得を許可しているのに、別のルールでアクセスが止まっている、ということが起こります。
もう1つ、見落としやすい点があります。Cloudflareは、サーバーに置いてあるrobots.txtの前に、自社で管理する内容を足して返すことがあります。外から見えているrobots.txtと、サーバーに置いたファイルが同じとは限りません。確かめるときは、ブラウザで実際のURLを開いて、返ってきた内容を読みます。
robots.txtの中に「Content-signal」という行が入っていることもあります。検索、AIへの入力、学習という用途ごとに、使ってよいかどうかの希望を書くものです。これも希望の表明で、アクセスを止める働きはありません。この行は、robots.txtに自分で書くこともできます。当社のrobots.txtにも「Content-Signal: search=yes, ai-input=yes, ai-train=yes」と入れてあります。書いたことで何かが変わったかどうかは、まだ確かめられていません。
管理画面とアクセスの記録を一緒に見る
AI Crawl Controlの画面では、どのクローラーが何回来たかを確認できます。ここで気をつけたいのは、失敗したリクエストの読み方です。Cloudflareは、失敗したリクエストはAI Crawl Controlのブロックだけでなく、ほかのルールや応答のエラーからも生じると書いています。失敗の数が多いからといって、AI Crawl Controlの設定が原因だとは決められません。
確認するなら、対象をサービスのページや料金のページに絞って、次の順番で進めます。
1. 検索・学習・人の代わりの取得のうち、どれを受け入れたいかを決める
2. 外から見えるrobots.txtと、管理画面のいまの設定を控える。設定を変える前に、値と確認した日時を残す
3. 対象のページへのリクエストを、Botの名前・URL・日時・応答・当てはまったルールで突き合わせる
4. 設定を変えたら、検索に必要なアクセスがもう一度通っているかを確かめる。問題があれば元に戻せるようにしておく
拒否を表す403の応答が記録にあっても、Cloudflareが原因とは限りません。サーバー側の認証や、別のアクセス制限が返していることもあります。
手元のブラウザでページが開けることと、Botが取得できることも別です。Botの名前を名乗って試しにアクセスした結果だけで判断せず、実際のアクセスの記録と照らし合わせます。
この記事では、個別のサイトで設定を変えて、前後を比べるところまではやっていません。ここに書いたのは、取得経路を調べるための手順までです。
アクセスできた後に見る数字
取得を妨げていた設定を直しても、そのページがAIの答えに引用されるとは限りません。質問との関係、内容、ほかの情報源との兼ね合いなど、アクセス以外の要素があります。
確かめたいことによって、見る場所が違います。
| 確かめたいこと | 見る場所 |
|---|---|
| サイトに情報を取りに来たか | Cloudflareやサーバーのアクセスの記録 |
| GoogleのAI機能で表示されたか | Search Consoleの生成AIパフォーマンスレポート |
| AIの答えに引用されたか | Bing Webmaster ToolsのAI Performance |
| サイトに人が来たか | アクセス解析 |
| 問い合わせにつながったか | フォームの記録 |
Googleの生成AIパフォーマンスレポートに出るのは、AIによる概要とAIモードでの表示回数（インプレッション）です。BingのAI Performanceに出るのは引用の回数で、Microsoftは、順位や権威を示すものではないと説明しています。同じ「AIの数字」でも、数えているものが違います。
設定を直した翌日に自社がAIの答えに出てきても、その変更が理由だったかどうかは、まだ分かりません。変更した日を残して、同じ聞き方で経過を追うほうが、次の判断に使えます。
記事の見直しと取得経路の確認をつなげる
AI検索に出ないとき、公開している情報を見直すのは、これまでどおり必要です。料金、サービスの対象、対応している地域、営業時間、予約の方法。お客様が比べるときに使う材料が、読める形でサイトに書かれているかを確かめます。
Cloudflareを使っているサイトなら、そこに取得経路の確認を足します。外から見えるrobots.txt、いまのBotの設定、実際のアクセスの記録。この3つに問題がなければ、内容や情報の食い違い、引用のされ方へ調べを進めます。
僕は、この順番をAIOの確認項目に入れておくつもりです。記事を何本増やすかを考える前に、すでに公開している情報が届く状態になっているかを確かめたいからです。
よくある質問
Cloudflareを使っていると、AI検索に出にくくなりますか？
Cloudflareを使っていること自体が理由になるわけではありません。ただ、Trainingの設定で「Block」を選ぶと、検索と学習を兼ねているGooglebot・Bingbot・Applebotも届かなくなるとCloudflareは説明しています。学習だけを拒否したい場合は「Disallow AI Training」という別の選択肢があります。
robots.txtでAIのクローラーを許可していれば、アクセスは通りますか？
通るとは限りません。robots.txtは希望を伝えるファイルで、実際にアクセスを止めるのはAI Crawl ControlやWAFのルールです。robots.txtで許可していても、別のルールで止まっていることがあります。外から見えるrobots.txtと、管理画面の設定、アクセスの記録をあわせて確認します。
設定を直したら、AIの答えに出るようになりますか？
出るとは限りません。取得できる状態にすることは前提の1つで、引用されるかどうかには内容やほかの情報源も関わります。設定の変更前後を比べた記録は、この記事にはありません。変更した日を残して、同じ聞き方で経過を見ることをおすすめします。
出典: Cloudflare Docs「Bots」のBotの行動の分類（2026年7月1日更新）／Cloudflare Blog「Have it both ways: stay discoverable in search while disallowing AI training」（2026年9月15日）／Cloudflare Docs「robots.txt setting」（2026年10月8日更新）／Cloudflare Docs「AI Crawl Control」クローラーの管理（2026年7月28日更新）／RFC 9309 Robots Exclusion Protocol（2022年9月）／Search Console ヘルプ「生成 AI パフォーマンス レポート（検索）」／Microsoft Bing Webmaster Blog「Introducing AI Performance in Bing Webmaster Tools (Public Preview)」（2026年2月10日）／記述は2026年10月13日時点で公式資料と照合しています
自分の店がAIにどう見えているか、一緒に確認しませんか
この記事の確認は、ご自身でも今日できます。やってみて気になる結果が出たら、そこからご相談ください。サイトのAI対応状況の診断は無料です。料金は店舗数や現状によって変わるので、お見積りをお出しします。
神吉 修平SHUHEI KANKI
ALDONIX代表。兵庫県高砂市を拠点に、Webディレクターとして100件以上のサイト制作を指揮。現在は高砂・加古川・姫路エリアで、MEO×AI検索の集客サービス「きゃくくる」を運営。