検索エンジンからAIクローラーまで、クロールの許可・拒否をルールごとに設定するだけで robots.txtをその場で生成。プリセットやAIクローラーの一括ブロックにも対応しています。
プリセットから始める
ルール一覧
User-agent
Disallow（拒否するパス）
Allow（例外的に許可するパス）
Crawl-delay（任意・秒）
AIクローラーの一括ブロック
チェックしたクローラー向けに「Disallow: /」のルールを自動追加します
Sitemap
未設定（任意）
robots.txt プレビュー
User-agent: * Disallow:
ご確認ください
・Sitemapが未設定です。XMLサイトマップがある場合は追加すると発見・巡回の効率が上がります。
robots.txtとは？検索エンジン・AIクローラーの制御を無料で作成
robots.txtは、Googlebotなどの検索エンジンや、GPTBot・ClaudeBotといったAIクローラーに対して「サイト内のどこを読み取ってよいか」を伝えるためのルールファイルです。サイトのルート直下に設置することで、クローラーはアクセス前にこのファイルを確認します。
本ツールは、User-agentごとにAllow（許可）・Disallow（拒否）・Crawl-delay（巡回間隔）を組み合わせてルールを作成し、入力内容に応じてrobots.txtをリアルタイムに自動生成できるオンラインツールです。管理画面やAPIのパスをまとめて拒否したり、生成AIの学習用クローラーだけをチェック1つでブロックしたりといった、実務でよくある設定にワンクリックで対応しています。
WordPressなどのCMS向けの標準的なテンプレートや、検索エンジンは許可しつつAIクローラーのみ拒否するプリセットも用意しているため、専門知識がなくても迷わず自サイトに合ったrobots.txtを作成できます。
こんなシーンで便利です
サイト公開前・リニューアル時の初期設定として
新しくサイトを公開する際や、CMSを乗り換えた際に、管理画面やログイン画面などクロール対象から外すべきパスをまとめて設定したい場合に使えます。
生成AIの学習データ収集を避けたい場合に
自社で公開している記事や制作物が、GPTBotやCCBotなど生成AIの学習データとして収集されることを避けたい場合、対象クローラーだけをチェックで一括ブロックできます。
検索結果に表示させたくないページがある場合に
検索やフィルターの絞り込み結果ページ、内部検索の結果ページなど、重複コンテンツになりやすいURLパターンをDisallowで指定したい場合に活用できます。
Sitemapを正しい書式でrobots.txtに追記したい場合に
作成済みのXMLサイトマップのURLをrobots.txtに記載したいが、書式や設置場所に自信がない場合に、正しいSitemapディレクティブの形式で追記できます。
使い方は簡単 4ステップ
- 上部のプリセットから近い設定（全許可・全拒否・WordPress標準・AIクローラーのみ拒否など）を選ぶか、空の状態から始めます。
- 「ルールを追加」でUser-agentを選択し、拒否したいパスをDisallowに、例外的に許可したいパスをAllowに追加します。
- 必要に応じて「AIクローラーの一括ブロック」から、GPTBotやClaudeBotなど個別のAIクローラーにチェックを入れます。
- SitemapのURLを追加し、右側（またはプレビュー欄）に生成されたrobots.txtをコピー、またはファイルとしてダウンロードします。
※入力したパスやドメインが外部サーバーに送信されることはなく、すべてブラウザ内で完結して生成されます。
ご利用時の注意点
- robots.txtには強制力がありません。悪意のあるクローラーやスクレイパーは、robots.txtの指定を無視してアクセスする場合があります。
- Disallowに指定したパスであっても、外部サイトからのリンクなどによりURLだけが検索結果に表示されることがあります。ページを確実に非表示にしたい場合はnoindexメタタグを併用してください。
- 生成したファイルは、サイトのルート直下に「robots.txt」というファイル名で設置してください。サブディレクトリに設置しても認識されません。
- 完全無料・安全：入力したドメインやパスの情報は一切送信されない、通信が発生しないブラウザ完結型を採用しています。
robots.txtでよく指定される主要User-agent一覧
検索エンジンおよびAIクローラーの代表的なUser-agentと、その概要です。
| User-agent | 分類 | 概要 |
|---|---|---|
| * | 共通 | すべてのクローラーを対象とするワイルドカード指定 |
| Googlebot | 検索エンジン | Google検索のメインクローラー |
| Googlebot-Image | 検索エンジン | Google画像検索用のクローラー |
| Bingbot | 検索エンジン | Microsoft Bing検索のクローラー |
| GPTBot | AIクローラー | OpenAIによるAI学習用データ収集クローラー |
| ChatGPT-User | AIクローラー | ChatGPTのブラウジング機能によるアクセス |
| Google-Extended | AIクローラー | GoogleのAI学習用途（Geminiなど）の収集設定 |
| ClaudeBot | AIクローラー | AnthropicによるAI学習用データ収集クローラー |
| CCBot | AIクローラー | Common Crawlによる収集（多くのAIモデルの学習元） |
| PerplexityBot | AIクローラー | Perplexity AIによる検索・要約用クローラー |
| Bytespider | AIクローラー | ByteDanceによるデータ収集クローラー |
※上記は代表的な例であり、各クローラーのUser-agent名称や仕様は事業者側の都合で変更・追加される場合があります。最新の対応状況は各事業者の公式情報もあわせてご確認ください。
robots.txtの書き方の基本と、設定時に押さえておきたいポイント
Disallow・Allow・Sitemapの役割と、実務でつまずきやすいポイントを解説します。
結論：robots.txtはクローラーへの「お願い」であり、強制的な非表示機能ではない
robots.txtは、クローラーに対して「このパスは読み取らないでください」と伝えるための任意のルールであり、アクセス自体を技術的に禁止するものではありません。
主要な検索エンジンのクローラーはこのルールを尊重しますが、ルールを守らないクローラーやスクレイパーも存在するため、機密情報や個人情報を含むページを守る目的では利用できない点に注意が必要です。
Disallow・Allowの優先順位と、書式の基本ルール
同じUser-agentブロック内でAllowとDisallowが競合する場合、多くのクローラーはより長く一致するパスの指定を優先します。例えば「Disallow: /blog/」と「Allow: /blog/public/」を併記すると、/blog/配下のうち/blog/public/以下だけがクロールを許可される、という具合です。
パスの末尾に忘れやすいスラッシュ（/）の有無によって対象範囲が変わるため、意図した範囲だけが指定されているかを生成後に必ず確認しましょう。
AIクローラーをブロックする際に押さえておきたい注意点
GPTBotやClaudeBotなど生成AIの学習用クローラーをDisallowで拒否すること自体は一般的な対応ですが、AI検索・AI要約機能などクロールを前提としたサービスでは、ブロックした結果として自社サイトの情報が参照・引用されにくくなる可能性があります。
また、AI関連クローラーのUser-agent名称は事業者によって随時追加・変更されるため、定期的に一覧を見直すことをおすすめします。
Sitemapディレクティブの正しい書き方とSEOへの影響
Sitemapディレクティブは「Sitemap: https://example.com/sitemap.xml」のように、スキーム（https://）を含む完全なURLで記載する必要があります。相対パスでの記載は認識されません。
robots.txtへのSitemap記載自体が直接的に検索順位を上げるわけではありませんが、クローラーがサイトマップの場所を発見しやすくなり、新しいページや更新されたページの発見・巡回が早まる効果が期待できます。
よくある失敗と対策
テスト用のDisallow: / を本番公開時に消し忘れ、サイト全体が検索結果から消える
開発中・ステージング環境で「User-agent: * / Disallow: /」を設定したまま本番環境に反映してしまい、公開後にサイト全体がクロールされなくなる失敗です。
💡 対策・解決策を見る▼
管理画面やログイン画面のパスをrobots.txtに書き、逆に場所を教えてしまう
robots.txtは誰でも閲覧できる公開ファイルであるため、/admin/や/login/といった管理系のパスをDisallowに記載すると、悪意のある第三者に管理画面の場所を知らせてしまうことになります。
💡 対策・解決策を見る▼
ワイルドカードやパスの末尾スラッシュを誤り、意図しない範囲までブロックしてしまう
「Disallow: /blog」と「Disallow: /blog/」では対象範囲が異なり、前者は「/blog-news」のような別ページまで巻き込んでブロックしてしまう場合があります。
💡 対策・解決策を見る▼
noindexタグとrobots.txtの役割を混同し、重要なページが検索結果に残ってしまう
「robots.txtでDisallowにすれば検索結果からも消える」と誤解し、既にインデックスされているページをDisallowだけで対応した結果、URLだけが検索結果に残り続けてしまう失敗です。
💡 対策・解決策を見る▼
サブドメインごとにrobots.txtが必要なことを知らず、設定が漏れる
メインドメイン（example.com）のrobots.txtだけを設定し、ブログなどのサブドメイン（blog.example.com）には別途robots.txtが必要であることに気づかず、意図した制御ができていない失敗です。
💡 対策・解決策を見る▼
よくある質問（FAQ）
Q.robots.txtとは何ですか、なぜ必要なのですか
A. robots.txtは、検索エンジンやAIクローラーに対して「サイト内のどのページを読み取ってよいか」を伝えるためのテキストファイルで、サイトのルート直下（例：https://example.com/robots.txt）に設置します。管理画面や重複ページなど、検索結果に表示させたくない領域をクロール対象から外したい場合や、特定のAIクローラーによる学習データ収集を避けたい場合などに設定します。
Q.Disallowに書けば、そのページは確実に検索結果から消えますか
A. いいえ、確実ではありません。robots.txtはクローラーに対する「お願い」であり、強制力はありません。また、他サイトからそのページへのリンクがある場合、ページの中身は読み取られなくてもURLだけが検索結果に表示されることがあります。ページを確実に検索結果から除外したい場合は、robots.txtではなくnoindexメタタグやHTTPヘッダーの利用を検討してください。
Q.AIクローラー（GPTBotやClaudeBotなど）をブロックするとどうなりますか
A. OpenAIのGPTBotやAnthropicのClaudeBot、Common CrawlのCCBotなどをDisallowに設定すると、これらの事業者による生成AIの学習目的でのコンテンツ収集を避けやすくなります。一方で、AI検索・AI要約サービスなど、クロールを前提とした一部の機能でサイトが参照されにくくなる可能性もあるため、自社のコンテンツ方針に応じて個別に判断することをおすすめします。
Q.robots.txtはどこに設置すればよいですか
A. サイトのルートディレクトリ直下に「robots.txt」というファイル名で設置します（例：https://example.com/robots.txt）。サブディレクトリに置いても認識されず、サブドメインが異なる場合（例：blog.example.com）は、そのサブドメインごとに個別のrobots.txtが必要です。
Q.入力した内容やドメイン名は外部に送信されますか
A. 送信されません。本ツールはUser-agentやパスの入力からrobots.txtの生成まで、すべての処理をブラウザ内だけで完結させる設計です。入力内容が外部サーバーに送信されたり保存されたりすることはなく、ページを閉じれば情報は消去されます。
Q.サブドメインやサブディレクトリのサイトにも同じrobots.txtが使えますか
A. サブディレクトリ（例：example.com/blog/）であれば、ドメイン全体で共通の1つのrobots.txtが適用されます。一方でサブドメイン（例：blog.example.com）は別サイトとして扱われるため、サブドメインごとに個別のrobots.txtをルート直下に設置する必要があります。
Q.検索エンジンは許可しつつ、特定のディレクトリだけ拒否することはできますか
A. できます。User-agentを「*」（すべてのクローラー対象）にしたルールの中で、拒否したいディレクトリのみをDisallowに指定し、それ以外は記載しなければ通常はクロールが許可された状態になります。特定のファイルだけ例外的に許可したい場合は、Allowディレクティブを併用します。
あなたの声で、
このツールをより鋭く。
「こんな機能が欲しい」「ここを直してほしい」といったご意見や、新しいツールのリクエストを募集しています。エンジニアが直接目を通し、開発の参考にさせていただきます。