どんなサイトにも使える無料の robots.txt 生成ツール

25% を超えるサイトで robots.txt の設定が誤っており、重要なページが誤って検索エンジンからブロックされています。

robots.txt は、検索エンジンのクローラーがサイトを訪れたときに最初に読む文書です。指示を 1 つ置き間違えるだけで、もっとも大切なページが Google に登録されなくなったり、さらに悪ければ、公開するつもりのなかった URL が知られてしまったりします。sorank.com の robots.txt 生成ツールは、きちんと組み立てられた robots.txt を数秒で作り、クロールの予算を無駄にせず、サイトの構造を主要な検索エンジンすべてに正しく伝える助けになります。

robots.txt とは何か、なぜ SEO で重要なのか

robots.txt は、サイトのルート（例：https://example.com/robots.txt）に置くそのままの文字のファイルで、サイトのどのページや領域をクロールしてよいか、してはいけないかをクローラーに伝えます。1994 年からクローラーの動きを定めてきた標準であるロボット排除プロトコルにもとづいています。

robots.txt は登録そのものを直接制御するわけではありません（それは meta robots タグや canonical タグの役割です）が、クロールの予算の管理で重要な役割を果たします。何千ページもある大きなサイトでは、管理画面、重複したコンテンツ、検証用の環境といった価値の低い領域をクローラーに飛ばしてもらうことで、もっとも大切なページが早くクロールされ、登録されるようになります。

robots.txt が重要な主な理由は次のとおりです。

• クロールの予算の最適化、関係のない URL に資源を使わせず、優先度の高いページへクローラーを導きます
• サーバー負荷の軽減、攻めの強いボットが不要なリクエストでサーバーを圧迫するのを防ぎます
• 非公開領域の保護、社内向けのツール、検証用のサイト、見せたくないディレクトリへのクローラーのアクセスをブロックします
• sitemap の発見、XML の sitemap の場所を検索エンジンに示し、効率よくクロールしてもらいます

robots.txt の指示を理解する：完全リファレンス

robots.txt は、いくつかの中心となる指示からなる簡単な書き方を使います。クロールを正しく制御するには、これらを使いこなすことが欠かせません。

User-agent：どのクローラーにルールを適用するかを指定します。すべてのクローラーには * を使い、特定のボットを狙うときは Googlebot、Bingbot、GPTBot などを指定します。

Disallow：特定のパスにアクセスしないようクローラーに伝えます。たとえば Disallow: /admin/ は、admin のディレクトリ全体をブロックします。

Allow：ブロックしたディレクトリの中の特定のパスについて、Disallow のルールを打ち消します。/admin/ の残りをブロックしつつ /admin/public-page だけを許可するような、細かい制御に便利です。

Sitemap：XML の sitemap の場所を宣言します。この指示はクローラーを問わず働き、登録できる URL をすべて見つけてもらう助けになります。

Crawl-delay：クローラーの連続したリクエストの間隔を秒単位で指定します。Bing と Yandex は対応していますが、Google は対応しておらず、代わりに Search Console の設定を参照します。

よく組み立てられた robots.txt の例です。

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /search?
Allow: /admin/public/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Sorank の robots.txt 生成ツールの使い方

無料の robots.txt 生成ツールは、わかりやすい画面で作成の手間を省きます。

1. User-agent を選ぶ、よく使うクローラー（Googlebot、Bingbot、GPTBot など）から選ぶか、すべてに適用するルールにはワイルドカードの * を使います
2. Disallow のルールを決める、/wp-admin/ や /staging/、/search? のようなクエリパラメーターなど、クロールを止めたいパスを入力します
3. Allow の例外を加える、ブロックしたディレクトリの中の特定のページへのアクセスを認めたい場合は、Allow のルールを追加します
4. sitemap の URL を入れる、XML の sitemap の場所を入力すると、クローラーが自動で見つけられます
5. 必要なら Crawl-delay を設定する、サーバーの負荷を抑えたい場合は、対応するクローラー向けに間隔を設定します
6. 生成して取り込む、生成された robots.txt をコピーするかダウンロードし、サイトのルートのディレクトリに置きます

SEO を損なう robots.txt のよくある間違い

経験のある担当者でも、検索での見え方を大きく損なう robots.txt の間違いを犯します。

1. CSS と JavaScript のファイルをブロックする：Google は内容を理解するためにページを描画する必要があります。/css/ や /js/ のディレクトリをブロックすると Googlebot がページを描画できず、順位を大きく損なうことがあります。

2. robots.txt で検索結果からページを隠そうとする：Disallow の指示は、Google の登録からページを取り除くものではなく、クロールを止めるだけです。他のサイトからブロックしたページへリンクがあれば、Google はその URL を（説明文なしで）登録することがあります。代わりに noindex の meta タグを使ってください。

3. うっかりサイト全体をブロックする：User-agent: * の下に Disallow: / が 1 行あるだけで、すべてのクローラーがサイト全体から締め出されます。ワイルドカードのルールは必ず確認してください。

4. 末尾のスラッシュを忘れる：Disallow: /admin は /administration を含め、/admin で始まるすべての URL をブロックします。ディレクトリだけを止めるには Disallow: /admin/ を使ってください。

5. Sitemap の指示を入れない：必須ではありませんが、robots.txt で sitemap を宣言しておけば、各社のウェブマスター向けツールから送信していなくても、すべての検索エンジンが見つけられます。

6. ルールが食い違う：Allow と Disallow のルールが重なる場合、Google の実装ではより具体的なルールが優先されます。意図しないブロックを避けるため、設定は必ず試してください。

CMS 別の robots.txt の基本

WordPress：/wp-admin/ はブロックしつつ、/wp-admin/admin-ajax.php は許可してください（表示側の機能に必要です）。メディアファイルが入っている /wp-content/uploads/ は決してブロックしないでください。必須ではないスクリプトのために /wp-includes/ のブロックを検討してもよいでしょう。

Webflow：Webflow は robots.txt を自動で生成しますが、サイトの設定で内容を変えられます。動的なコンテンツを生成するコレクションのページやテンプレートのパスをブロックしていないか確認してください。

Shopify：Shopify には既定の robots.txt があり、/admin、/cart、/checkout、/orders といった内部のパスをブロックしています。2021 年以降は、robots.txt.liquid のテーマテンプレートから内容を変えられます。

Next.js / React の SPA：robots.txt が public のディレクトリから静的なファイルとして配信されるようにしてください。サーバー側で描画するアプリでは、コンテンツの描画に必要な API のエンドポイントに Googlebot がアクセスできるか確認します。

robots.txt で AI クローラーを管理する

AI がウェブのコンテンツを収集するようになり、robots.txt は AI クローラーのアクセスを制御するうえで新たに重要になりました。

• GPTBot、学習データを集める OpenAI のクローラー
• ChatGPT-User、その場でウェブを閲覧する機能のための OpenAI のクローラー
• Google-Extended、Google の AI 学習データ用のクローラー（Googlebot とは別です）
• anthropic-ai、Anthropic のウェブクローラー
• CCBot、多くの AI の学習データセットで使われる Common Crawl のボット

検索エンジンは許可したまま、AI クローラーをすべてブロックするには次のようにします。

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

robots.txt の確認と検証

robots.txt を生成したら、公開する前に必ず検証してください。

• Google Search Console、「robots.txt テスター」（クロールの設定の中）で、書き方の誤りを調べ、特定の URL がルールにどう当たるか試せます
• Bing ウェブマスターツール、Bingbot がファイルをどう解釈するかを示す robots.txt の解析機能があります
• ブラウザでの確認、yourdomain.com/robots.txt に直接アクセスし、読み取れて正しい形式になっているか確かめます
• ログの分析、公開後にサーバーのログを見て、クローラーが指示に従っているか確認します

検索エンジンは robots.txt をキャッシュし、定期的に読み直します（通常は 24 時間ごと）。変更したあとは、Google Search Console から再クロールを申請すると、早く反映されます。

Sorank の robots.txt 生成ツールを使えば、コードの知識がなくても、正しい形式のファイルを数秒で作れます。クロールの予算を守り、ボットのアクセスを管理し、サイトのもっとも価値あるページが検索エンジンから正しく扱われるようにしましょう。