サイト制作の準備を表したAI生成イメージです。実際の社内や顧客の写真ではありません。
robots.txtは、検索エンジンのクローラーに、サイト内のどのURLを取得してよいか伝えるファイルです。設定したい範囲が決まったら、止めたいURLと、引き続き読んでほしいURLを一つずつ用意しましょう。製品カタログの印刷版だけ巡回を抑える例を使って、書く場所、3行の読み方、公開した内容がGoogleに届いたかを確かめる方法を説明します。
この記事でわかること
- 制限する理由がなければ、ファイルを新設する必要はありません。設定を変える前に、対象サイトで今返っている内容を確認します。
- Google向けの記述は、対象クローラーのグループを選び、URLに一致するパスのうち最も具体的なものを読みます。
- 公開直後のファイルと、Search Consoleで前回取得されたファイルには時間差があります。どちらを見たかと日時を記録します。
robots.txtで何ができる？ 印刷版の巡回を例に考える
例えば、製品カタログに通常版と印刷版があり、閲覧者が「印刷」を押すと同じ仕様表だけを並べた別のURLが開くとします。どちらもお客様には必要です。一方、数多くの印刷版をクローラーが繰り返し取りに来てサーバーの負荷が気になるなら、通常版は読める状態で、印刷版への自動巡回を抑える選択肢があります。以下の製品・パス・運用状況は、手順を説明するための架空例です。
出典：robots.txt の概要とガイド | Google 検索セントラル | Documentation | Google for Developers
最初に、「何を止めたいか」を社内の言葉で一文にします。「製品は検索で見つけてほしい。製品の印刷版への自動アクセスだけ減らしたい」なら、クロール制御の検討に進めます。小規模なサイトで印刷版が数件あるというだけなら、対応を急ぐ理由にはなりません。アクセスログを見られる担当者に、どのURL群が頻繁に取得されているかを確認してから判断してください。
| 実現したいこと | 最初に確かめること |
|---|---|
| 印刷版の巡回を抑えたい | 印刷用URLに共通のパスがあるか。Googlebotに取得してほしい通常版と分けられるか。 |
| 誰でも開ける資料をGoogle検索から外したい | 公開ページのnoindex設定を検討する。Googleがその指定を読み取れるよう、ページの取得は許可する。 |
| 会員だけが見られる資料にしたい | ログインとアクセス権を確認する。robots.txtは公開ファイルなので、秘密の掲載場所や認証情報を書かない。 |
| 新しい製品をGoogleに知らせたい | サイト内から製品へのリンクを設け、必要ならXMLサイトマップに正式URLを載せる。 |
クロールは、クローラーがURLにアクセスして内容を取得することです。検索への登録は別の判断です。Googleが取得を制限されたページでも、他のページからのリンクなどでURLを知り、説明文を伴わず検索結果に出す場合があります。検索結果に残っているという事実だけでは、robots.txtのルールが間違っているとは判断できません。
出典：robots.txt の概要とガイド | Google 検索セントラル | Documentation | Google for Developers
設置場所はどこ？ 管理画面を開く前に対象サイトを確かめる
お客様が見る製品ページをブラウザーで開きます。例として、アドレスが https://www.example.com/products/pump-a なら、同じ https と www.example.com を残し、後ろを /robots.txt に置き換えます。この架空サイトで確認する場所は https://www.example.com/robots.txt です。ファイル名は小文字で、サイトの一番上に置きます。製品フォルダーの下に置いた /products/robots.txt は、そのフォルダー専用の設定としては働きません。
出典：robots.txt の書き方、設定と送信 | Google のクロール インフラストラクチャ | Crawling infrastructure | Google for Developers
適用される範囲は通信方式、ホスト名、ポートの組み合わせで決まります。本社サイトの www.example.com と、製品カタログの catalog.example.com は別のホストです。また、同じホスト名でも http と https は別です。HTTPSの標準ポート443を明示したURLは省略時と同じ扱いですが、別のポートで配信しているサイトには同じファイルは適用されません。管理画面の名前より、実際に製品を開いたときのアドレスを基準にしてください。
ルートでテキストが表示されたら、そのまま編集に進まず、現在の内容を日付付きで保存します。管理画面にはファイルが見当たらなくても、CMSやホスティングサービスがリクエストのたびに自動で返す場合があります。制作会社には「どの設定が、この公開URLのテキストを生成していますか」と聞くと、変更すべき場所を特定できます。別の場所にファイルを新設すると、元からある例外やサイトマップの指定を引き継げないことがあります。
出典：robots.txt の書き方、設定と送信 | Google のクロール インフラストラクチャ | Crawling infrastructure | Google for Developers
新規に用意する場合は、UTF-8のプレーンテキストを robots.txt という名前で保存します。文書作成ソフトの装飾や全角コロンの混入、ファイル名末尾の .txt.txt に注意します。ブラウザーで会社のトップページや独自のエラー案内が出た場合は、見えている文章の種類とHTTPステータスを管理者に確認します。画面が開くことと、所定の場所からルールのテキストが返ることは別々に確かめられます。
出典：robots.txt の書き方、設定と送信 | Google のクロール インフラストラクチャ | Crawling infrastructure | Google for Developers
書き方の基本。3行の例をURLごとに読み解く
次の3行は、通常の製品ページは許可し、/print/ 以下の印刷版は止め、その中でも /print/guide/ 以下の使い方案内だけは読ませる記述例です。この例では他のグループやルールがないものとします。自社のファイルに追加する前に、印刷画面が本当にこのパス構造になっているかを確認してください。単にブラウザーの印刷機能を使うだけでURLが変わらないサイトには、この例で分ける対象がありません。
User-agent: *
Disallow: /print/
Allow: /print/guide/1行目の User-agent は、このグループをどのクローラーに向けるかを示します。星印は、個別に合致するグループがないクローラー向けの共通指定です。2行目の Disallow はクロールを制限するパス、3行目の Allow は許可するパスです。パスはホスト名の後ろの / から書きます。各指示を別の行に置き、メモを書く場合は # の後ろをコメントとして使えます。
出典：robots.txt の書き方、設定と送信 | Google のクロール インフラストラクチャ | Crawling infrastructure | Google for Developers
| 見たいパス | Googlebotに対する判定と理由 |
|---|---|
| /products/pump-a | 許可。/print/ から始まらず、制限に一致しない。通常の製品紹介を読める。 |
| /print/pump-a | 制限。/print/ に一致し、より具体的な許可ルールには一致しない。 |
| /print/guide/start | 許可。二つのルールに一致するが、/print/guide/ のほうが長く、対象が限定されている。 |
設定ファイルの下に書いた行が、いつも上の行より強くなるわけではありません。Googleはまずクローラー名に合う最も具体的なグループを選び、その中で対象URLと最も具体的に一致するパスを使います。例えば既存ファイルに Googlebot 専用グループがあれば、共通グループだけに上の3行の内容を書いても、Googlebot用の設定には合算されません。一方、同じ Googlebot を指定するグループが複数あれば、Googleはそれらのルールをまとめて読みます。同じ具体性で許可と制限が競合する場合は、Googleは許可を選びます。
末尾のスラッシュにも意味があります。/print/ で始まるという条件には、スラッシュのない /print は含まれません。反対に /print とだけ書くと /printer/ まで一致する可能性があります。また /Print/ と /print/ は別のパスです。印刷用ページとプリンター製品のカテゴリ名が似ているサイトなら、残したい製品一覧を一つ選んで試すと、広すぎる指定を公開前に発見できます。
本番に置く前に、通常版と例外を含む確認表を作る
作業を依頼する前に、通常版、印刷版、案内ページの実際のURLを一件ずつ抜き出します。ブラウザーで人が開けることは公開状態の確認になりますが、クローラーが許可されているかの検算はできません。下の順番で、どのグループのどの行を根拠にしたかまで書くと、パスを一文字誤った場合にも原因をたどれます。
- 対象を決める｜公開サイトのホスト名と、制御したいクローラーの名前を控える。
- 3件のURLを選ぶ｜止める印刷版、残す通常版、例外の案内を一つずつ取る。
- ルールを当てる｜実際に適用するグループから、一致する最も具体的なパスを探す。
- 変更前の版を残す｜復元できる場所と担当を決め、同じURLで公開後に確かめる。
本番と検証用サイトを分けている会社では、ルールを比較するときに両方のホスト名も読み上げてください。例えば検証環境で全体を止めるために使っていた Disallow: / を共通グループに残すと、より具体的な許可がないすべてのパスに一致します。印刷版だけを止める変更としては範囲が広すぎます。既存の専用グループや例外までまとめて消さず、現行版との差分を担当者と照合します。
確認表にはページに必要なファイルも一つ入れます。例えば製品写真や仕様表の見た目を整えるCSSが印刷版と同じフォルダーにあると、それも制限対象に含まれます。Googleが閲覧者と同じようにページを読み取るために必要なCSS、JavaScript、画像は取得できる状態が望まれます。共通の保存場所にまとめて制限をかける前に、通常版で使う素材が混ざっていないかを制作担当と相談してください。
出典：robots.txt の概要とガイド | Google 検索セントラル | Documentation | Google for Developers
異なる拠点が同じCMSを使う場合も、拠点ごとに代表URLを取りましょう。一方は /print/ の下に印刷版を出し、もう一方は通常の製品URLに印刷用のパラメータを付けているなら、同じ3行を配っても結果はそろいません。実際のアドレスに合わせて検算できるまでは、その拠点への適用を保留します。
改修と同時に印刷機能を変える場合は、残すページと巡回を止めたいページを一件ずつ添えてご相談ください。公開担当と一緒に、設定が影響する範囲を整理できます。
公開後はSearch Consoleと実際のファイルを見比べる
公開後は二つの時点を見ます。まずシークレットウィンドウなどで、ログインしていない閲覧者として、本番の /robots.txt が開くかを確認します。公開前に控えたルールと実際に返った内容を比べます。次に、Google Search Consoleの「設定」から「robots.txt レポート」を開き、該当ホストのファイルと前回の取得日時を見ます。前者はサイトが現在返しているもの、後者はGoogleが取得を試みたときの記録です。
出典：robots.txt の書き方、設定と送信 | Google のクロール インフラストラクチャ | Crawling infrastructure | Google for Developers
出典：robots.txt レポート – Search Console ヘルプ
レポートを利用できるのはドメインプロパティと、パスを含まないホスト単位のURLプレフィックスプロパティです。例えば https://www.example.com/products/ だけを登録している担当者には、このレポートが出ません。ドメインプロパティではGoogleが検出した上位20ホストが対象です。別のホストの結果が表示されていないか確認してから、対象ファイルの内容を開きます。自分が製品フォルダーだけを管理している場合は、ホスト全体を見られる管理者に、該当ファイルの取得日時と前回版の内容を共有してもらいましょう。
出典：robots.txt レポート – Search Console ヘルプ
| 二つの確認結果 | 次に行うこと |
|---|---|
| 本番は新版。Googleの前回取得時刻は変更前 | レポートの前回版を保存し、担当者と次の確認日時を決める。重要ページの制限を解除したなど急ぐ理由がある場合は、ファイルの再クロールをリクエストできる。 |
| 本番で想定どおりのテキストが返らない | ホスト名・設置場所・CMSの生成元を先に確認する。管理画面で保存した操作だけを完了の根拠にしない。 |
| レポートでエラーや警告が出た | 対象ファイルを開き、該当箇所と前回取得時刻を控える。現在公開中の同じ行と比較し、必要な行だけ直す。 |
| Googleが新版を取得した。製品が検索に出ない | ファイルの取得は確認済みと記録する。製品ページ自体の登録状況はSearch ConsoleのURL検査で別途調べる。 |
公開URLテストで、3件の「クロールを許可？」を照合する
ファイルを読めたら、対象サイトのSearch Console上部に通常版の完全なURLを入れ、URL検査で「公開URLをテスト」を選びます。結果の詳細で「クロールを許可？」を見て、テスト日時と判定を確認表に記入します。印刷版と案内も同じホストの完全なURLで一件ずつ試します。最初に開く登録済みデータの画面とは検査時点が違うので、公開URLテストの結果を使ってください。
出典：robots.txt レポート – Search Console ヘルプ
先ほどの3行だけが適用される例なら、通常版は「はい」、印刷版は「いいえ」（robots.txtによるブロック）、案内は「はい」が期待値です。印刷版のブロックはこの設計では意図どおりです。時間切れや認証など別の取得エラーでは、クロール拒否と決めずにエラー内容を控えます。期待と違う場合はテスト対象のホスト、Googleが取得した版、専用グループのルールを見直します。ライブテストが通っても検索への登録を確認したことにはなりません。
出典：robots.txt レポート – Search Console ヘルプ
「ファイルが見つからない」ときの判断は、もともと制限が必要だったかで変わります。robots.txt 自体が404を返した場合、Googleは原則としてクロールの制限がないものとして扱います。印刷版を止める設計なら、期待したルールを返せていないため修正の対象です。制限が不要な会社案内なら、ファイルがない事実だけを障害として扱う必要はありません。一方、サーバー障害による5xxの応答は404と別の扱いなので、同じ説明で済ませず管理者へ渡します。
出典：robots.txt レポート – Search Console ヘルプ
レポートの「バージョン」では過去の取得状況とファイルの内容をたどれます。設定を直しても重要な製品が引き続き止まっているようなら、Googleが読んだ版に古い制限が残っているかを先に確認します。ファイルの再クロールをリクエストしても、それによって、解除した製品ページ自体が直ちに再取得されたり、検索結果に掲載されたりすることは保証されません。
出典：robots.txt レポート – Search Console ヘルプ
想定外のURLが止まったら、何を制作会社に渡すか
通常版への巡回まで止まった疑いがあるときは、ルールを全消去する前に、何が変わったかを絞ります。印刷版のディレクトリだけ変えたのか、本番ホストを切り替えたのか、CMSの生成設定を上書きしたのかで、戻す場所が異なるからです。制作会社には、見ているサイト、期待した動作、実際に見た版を続けて伝えます。以下はそのまま社内の依頼票に移せる架空の記入例です。
| 確認欄 | 記入例 |
|---|---|
| 目的と対象ホスト | 製品カタログで、通常版を残して印刷版だけ巡回を抑えたい。対象は公開サイトの www.example.com。 |
| 代表URLごとの期待 | /products/pump-a は許可、/print/pump-a は制限、/print/guide/start は許可。 |
| 現在と前回版 | 本番で読んだ時刻は火曜11時。Search Consoleの前回取得は月曜15時。新版が取得されたかは未確認。 |
| 担当と復元の条件 | 通常版も制限するルールが公開されていたら、保守担当が差分を確認し、控えた変更前の版へ戻す。修正後は同じ3件で再確認。 |
引き継ぎ時には、止めたい印刷版だけを伝えず、残したい例外の利用目的も添えてください。例えば「印刷の仕方を説明する案内は、お客様が検索から探すので残す」と書いておけば、担当が交代しても、短く整理するつもりで Allow の一行を消してしまう失敗を防ぎやすくなります。後日案内ページを移した場合にも、ルールを見直す理由が分かります。
修正作業は、対象ホストから期待したルールが返り、許可と制限の代表例を検算できた時点で一区切りにできます。Google側の確認欄には実際に見た取得日時を記録します。検索への登録や問い合わせ数は別の項目です。未確認の欄に「成功」と入れる前に、その欄を誰がいつ確かめるかを決めて引き継いでください。
無料のホームページ改善チェックシートで公開前後の点検を進める際は、この代表URLの確認表もご活用ください。既存の設定を誰が管理しているか分からない場合は、本番サイトのURLを添えてVELGRITにご相談いただけます。
よくあるご質問
この記事のまとめ
- 印刷版のように制御したいURL群が本当にあるかを確認し、対象ホストの現行ファイルを保存する。
- 止めるURLと残すURLを並べ、対象クローラーと具体的なパスを根拠に一件ずつ判定する。
- 本番で返す内容とGoogleの前回取得版を別々に読み、次回の確認担当まで記録する。
掲載内容は出典・取材・検証結果を確認し、編集担当者の承認を経て公開しています。記事制作にはAIを補助的に使用しています。
運営者について →