Screaming Frog SEO Spider：如何设置并完成一次完整审计

Screaming Frog SEO Spider 可在 Windows、macOS 和 Linux 上运行，在您自己的电脑上工作，因此速度取决于电脑内存。厂商的用户指南记录了每项设置。本文聚焦于第一次有效审计所需的内容。

Screaming Frog SEO Spider 能做什么？

它从一个网址出发，跟踪找到的每个链接，并记录机器人在每个页面上看到的内容。这个过程称为抓取。每个网址都能得到：

• HTTP 状态码（200、301、404、500 等）和响应时间；
• title 标签、meta 描述、H1 和 H2 及其长度；
• canonical 标签、meta robots 与 X-Robots-Tag 指令、hreflang；
• 内部和外部链接、锚文本、抓取深度；
• 图片、图片大小和替代文本；
• 结构化数据、字数和页面大小。

它的价值在于全局视角：几分钟内把 10,000 个页面按问题排序，而人工检查需要数周。

免费版还是付费许可？

免费版足以应对小网站或快速检查某个栏目。一旦网站超过 500 个网址，或者需要渲染 JavaScript、长期跟踪变化，许可费很快就能回本。

第一次抓取前应修改哪些设置？

1. 选择抓取模式

Spider 模式从起始网址开始抓取。List 模式只抓取您粘贴或上传的网址，适合检查站点地图、迁移前的旧网址列表或外链目标页面。

2. 使用数据库存储

在设置中把内存存储切换为 SSD 上的数据库存储。这样可以进行大规模抓取，并自动保存结果。

3. 网站需要时开启 JavaScript 渲染

如果内容或链接由 JavaScript 注入（React、Vue、部分 Shopify 或 Webflow 主题），请把渲染方式设为 JavaScript。工具会使用无界面的 Chromium 浏览器，类似 Google 的渲染器。对比原始 HTML 和渲染后的 HTML，找出只在渲染后才出现的内容。

4. 连接 API

连接 Google Search Console、GA4 和 PageSpeed Insights。点击、展示和 Core Web Vitals 会显示在每个网址旁边，而出现在这些来源中却不在抓取结果里的网址就是孤立页面。

5. 设置自定义提取

使用 XPath、CSS 选择器或正则表达式提取任何元素：发布日期、作者、价格、库存状态、schema 类型。非常适合大规模审查模板。

6. 照顾好服务器

主机性能较弱时降低抓取速度（线程数或每秒网址数）；只有在网站不屏蔽未知机器人时，才把用户代理设为 Googlebot。

如何分步完成核心审计？

Google 说明了它如何处理 HTTP 状态码以及规范网址：在决定重定向或合并哪些页面之前，请先阅读这两份文档。

如何导出和分享结果？

每个标签都可导出为 CSV、Excel 或 Google Sheets。用 Bulk Export 导出组合数据（所有指向 4xx 页面的链接、所有缺少替代文本的图片），用 Reports 菜单导出重定向链或 canonical 错误。交给客户或开发者时，只导出经过筛选的问题列表，附上页面网址和问题来源：一份包含 40 个失效链接及其来源页面的清单会被处理，一份 10,000 行的文件则不会。有了许可后，可以安排每周抓取，并通过抓取对比查看每次上线后的变化。

抓取如何帮助 SEO 和 AI 可见度？

爬虫看您网站的方式与 Googlebot、Bingbot 以及 AI 爬虫（GPTBot、ClaudeBot、PerplexityBot）相同。它们无法到达、返回错误或位于七次点击深处的页面会浪费抓取预算，也很难被 Google 索引或被 ChatGPT 和 Perplexity 检索。干净的抓取结果（200 状态码、唯一的 canonical、较浅的深度、真实的内链）是任何技术 SEO 审计的基础，排在内容和外链之前。

只检查单个页面时，不一定需要爬虫：免费的页面 SEO 审计和免费的 Sorank Chrome 扩展几秒钟就能显示当前页面需要的修复。

Screaming Frog SEO Spider 几分钟就能找出整个网站的技术问题；带来流量的工作，从按影响大小依次修复它们开始。基础打好之后，Sorank 会以 autopilot 模式发布经过优化、相互链接的文章，让网站在 Google 和 AI 中持续增长。