Screaming Frog SEO Spider：設定方法とサイト全体の監査手順

Screaming Frog SEO SpiderはWindows、macOS、Linuxで動き、手元のパソコン上で処理するため、速度はメモリに左右されます。開発元のユーザーガイドにすべての設定が説明されています。このガイドでは、最初の監査を役立つものにするための要点に絞ります。

Screaming Frog SEO Spiderで何ができるのか？

1つのURLから出発し、見つけたリンクをすべてたどり、各ページでボットが見る内容を記録します。この処理をクロールと呼びます。URLごとに次の情報が得られます。

• HTTPステータスコード（200、301、404、500など）と応答時間
• titleタグ、meta description、H1、H2とその文字数
• canonicalタグ、meta robotsとX-Robots-Tagのディレクティブ、hreflang
• 内部リンクと外部リンク、アンカー、クロール深度
• 画像とそのサイズ、代替テキスト
• 構造化データ、文字数、ページサイズ

価値は全体を一望できることにあります。手作業なら数週間かかる確認を、1万ページ分でも数分で問題別に並べられます。

無料版と有料ライセンス、どちらが必要か？

小規模サイトや特定セクションの簡単な確認なら無料版で十分です。サイトが500 URLを超える、JavaScriptをレンダリングする必要がある、継続的に変化を追いたい、といった場合はライセンスがすぐに元を取ります。

最初のクロール前に変えるべき設定は？

1. クロールモードを選ぶ

Spiderモードは開始URLからクロールします。Listモードは貼り付けたりアップロードしたりしたURLだけをクロールするので、サイトマップの確認、移行前の旧URLリスト、被リンク先ページのチェックに便利です。

2. データベースストレージを使う

設定でメモリ保存からSSD上のデータベース保存に切り替えます。大規模なクロールが可能になり、結果は自動で保存されます。

3. 必要ならJavaScriptレンダリングを有効にする

コンテンツやリンクがJavaScriptで挿入される場合（React、Vue、一部のShopifyやWebflowのテーマ）は、レンダリングをJavaScriptに設定します。ツールはGoogleのレンダラーと同様にヘッドレスのChromiumを使います。元のHTMLとレンダリング後のHTMLを比べ、レンダリング後にしか存在しないコンテンツを見つけましょう。

4. APIを連携する

Google Search Console、GA4、PageSpeed Insightsを連携します。クリック、表示回数、Core Web VitalsがURLごとに表示され、これらのデータにあるのにクロールで見つからないURLが孤立ページとして浮かび上がります。

5. カスタム抽出を設定する

XPath、CSSセレクタ、正規表現で、公開日、著者、価格、在庫状況、schemaの種類など任意の要素を抽出できます。テンプレートを大規模に監査するのに便利です。

6. サーバーに配慮する

弱いホスティングでは速度（スレッド数や1秒あたりのURL数）を下げ、ユーザーエージェントをGooglebotにするのは、サイトが未知のボットをブロックしない場合だけにします。

基本の監査はどう進めるのか？

GoogleはHTTPステータスコードと正規URLの扱いを説明しています。何をリダイレクトし、何を統合するかを決める前に両方を読んでください。

結果はどうエクスポートして共有するのか？

各タブはCSV、Excel、Google Sheetsにエクスポートできます。組み合わせたデータ（4xxページへのすべてのリンク、代替テキストのないすべての画像）はBulk Exportで、リダイレクトチェーンやcanonicalエラーはReportsメニューで出力します。クライアントや開発者に渡すときは、ページのURLと問題の発生元を添えた、絞り込み済みの問題リストだけを出しましょう。リンク元ページ付きの40件のリンク切れリストは対応されますが、1万行のファイルは対応されません。ライセンスがあれば週1回のクロールを予約し、クロール比較でリリースごとの変化を確認できます。

クロールはSEOとAIでの可視性にどう役立つのか？

クローラーは、Googlebot、Bingbot、AIのクローラー（GPTBot、ClaudeBot、PerplexityBot）と同じ見え方でサイトを確認します。これらが到達できないページ、エラーを返すページ、7クリックも奥にあるページはクロールバジェットを無駄にし、Googleにインデックスされる可能性も、ChatGPTやPerplexityに取得される可能性も低くなります。きれいなクロール結果（ステータス200、canonicalは1つ、浅い階層、実際の内部リンク）は、コンテンツやリンクより先に整えるべきテクニカルSEO監査の土台です。

1ページだけならクローラーは必須ではありません。無料のオンページSEO監査と無料のSorankのChrome拡張機能が、表示中のページの修正点を数秒で示します。

Screaming Frog SEO Spiderはサイト全体の技術的な問題を数分で見つけます。トラフィックにつながる仕事は、それを影響の大きい順に直すところから始まります。土台が整ったら、Sorankが最適化され互いにリンクされた記事をautopilotで公開し、サイトがGoogleとAIの両方で伸び続けるようにします。