30秒で理解
robots.txt は、検索エンジンなどのクローラーに「このサイトのどのURLへアクセスしてよいか」を伝えるファイルです。主な用途はクロールの制御で、ページを検索結果から確実に隠すための仕組みではありません。
建物の入口に置く「関係者はこの部屋まで」という案内板です。案内を読む来訪者の動線は整理できますが、部屋そのものに鍵をかけるものではありません。検索結果から隠すなら、認証や noindex など別の手段を使います。
どういう仕組みか
ファイルは各ホストのルートに置きます。たとえば https://example.com/ のサイトなら、確認するURLは https://example.com/robots.txt です。内容はクローラーごとのグループに分け、Disallow でアクセスさせたくないパスを指定します。
| 記述 | 意味 | 例 |
|---|---|---|
User-agent: * | すべてのクローラー向けのグループ | User-agent: * |
Disallow: /private/ | /private/ 以下へのクロールを許可しない | 管理用の経路など |
Allow: /private/public/ | より細かい例外を許可する記述 | 対応状況はクローラーごとに確認 |
Sitemap: https://example.com/sitemap.xml | サイトマップの場所を伝える | 絶対URLで指定 |
robots.txt のルールはクローラーへの要請であって、認証やアクセス制御ではありません。機密情報はファイルを置くだけで保護せず、サーバー側の認証などで閉じます。
どこで見えるか
まずブラウザーで、対象サイトのルートに /robots.txt を足したURLを開きます。リダイレクト、HTTPステータス、実際の本文を確認してください。CMSやホスティングサービスによっては、ファイルを直接編集せず管理画面の検索設定から生成します。
| 確認する場所 | 見るもの | 次の判断 |
|---|---|---|
ブラウザーの サイトのルート/robots.txt | 200で本文が返るか、意図しない Disallow がないか | 返らない・内容が違うならホスティング設定を確認 |
| Search Console の「URL検査」 | 対象URLのクロールやインデックス登録に関する状態 | robots.txt によるブロック表示があればルールを再確認 |
| サイト生成・CMSの設定画面 | robots.txt を生成する設定の有無 | 手編集と自動生成のどちらが正本か決める |
よくある誤解
Disallow は noindex の代わりになりません。クロールを禁止したURLは、クローラーがページ内の noindex を読めません。リンクなどをきっかけにURLだけが検索結果へ現れる可能性もあります。検索結果への掲載を止める目的なら、robots.txt で先にブロックせず、noindex のメタタグまたは X-Robots-Tag、あるいはパスワード保護を使います。
| やりたいこと | 使う手段 | robots.txt だけで足りるか |
|---|---|---|
| クロールのリクエストを減らす | robots.txt | 目的がクロール制御なら使える |
| ページを検索結果に出さない | noindex または認証 | いいえ |
| 秘密のファイルを読ませない | 認証・アクセス制御 | いいえ |
| サイトマップの場所を知らせる | Sitemap | robots.txt に記述できる |
これを踏まえて何をするか
目的を1つに絞ってから、次の順で確認します。ページを検索結果から外したいだけなのに Disallow を追加する、という逆向きの修正を防げます。
| # | 目的 | 操作 |
|---|---|---|
| 1 | 今の設定を確認する | ブラウザーで https://自分のドメイン/robots.txt を開き、対象パスに効く User-agent と Disallow を読む |
| 2 | クロールを止めたい | robots.txt の生成元（CMSまたはホスティング設定）で対象パスを追加し、保存後に同じURLを再読み込みする |
| 3 | 検索結果から外したい | 対象ページから robots.txt のブロックを外し、ページの noindex または X-Robots-Tag を設定する |
| 4 | 反映を確認したい | Search Console の「URL検査」で対象URLを入力し、表示されたブロック理由とインデックス登録の状態を確認する |
判定がつかないときは、対象URL・現在の robots.txt 本文・Search Console のURL検査結果を同じ画面に並べます。まずはブラウザーで https://自分のドメイン/robots.txt を開き、対象パスに Disallow が効いているかを確認してください。