掌握技术 SEO:可抓取性、可索引性、Core Web Vitals、XML 站点地图、robots.txt 和网站速度。面向 Google 排名的完整技术 SEO 指南。

摘要
技术 SEO 是优化您网站的基础设施、代码和性能,以改善可抓取性、可索引性和 Core Web Vitals 的过程,让 Google 能够有效地为您的页面排名。
想深入了解?请询问
无论您的内容多么优秀,也无论您的反向链接多么权威,如果您的技术 SEO 是坏的,您就不会有排名。技术 SEO 是其他一切 SEO 工作赖以立足的根基。它确保 Google 能够抓取您的页面、正确地为其建立索引、快速加载它们,并理解它们的结构。没有扎实的技术 SEO,您就是在沙滩上建城堡。
技术 SEO 涵盖四个主要方面:可抓取性(Google 能访问您的页面吗?)、可索引性(Google 会把它们加入索引吗?)、Core Web Vitals(您的页面加载快、响应快吗?)以及结构化数据(Google 理解您的内容吗?)。本指南将深入介绍每一个方面,并给出修复最常见问题的步骤。
可抓取性是 Google 访问并读取您网站上页面与资源的能力。如果一个页面不可抓取,Google 就无法为它建立索引。常见的可抓取性问题包括:被 robots.txt 屏蔽的页面、失效的重定向、需要登录的页面、通过 HTTP(而非 HTTPS)提供的页面,以及对 Googlebot 屏蔽的资源(CSS、JavaScript)。
Google Search Console 的抓取报告会显示哪些页面存在抓取错误。请每月查看该报告。常见错误包括“404 Not Found”(指向不存在页面的失效链接)、“服务器错误”(5XX 错误)和“超时”(加载时间过长的页面)。
请检查您的 robots.txt 文件。该文件告诉 Google 抓取您网站的哪些部分、跳过哪些部分。配置错误的 robots.txt 可能屏蔽重要页面。Google 的 robots.txt 文档定义了正确的语法。常见的错误包括屏蔽整个目录,或屏蔽 CSS/JavaScript 文件,这会导致 Google 无法正确渲染页面。
请使用 PageSpeed Insights 或 Lighthouse 测试可抓取性。这些工具会显示您的资源是否正确加载,以及您的页面是否可被渲染。加载失败的资源会阻碍 Google 理解您的页面结构。
可索引性是指 Google 是否真的把您的页面加入其搜索索引。一个页面可以是可抓取的(Google 能访问它)却不可索引(Google 不会把它加入搜索结果)。常见的可索引性问题包括:被 meta robots noindex 标签屏蔽的页面、带有 X-Robots-Tag noindex 响应头的页面、缺少规范标签的重复内容,以及不符合质量标准的页面。
请审查您的 meta robots 标签。带有 `` 的页面会被抓取,但不会被索引。该标签对预发布环境和私密内容很有用,但把它用在公开页面上会阻止索引。请检查您最重要的页面,确保它们带有正确的 robots 标签(或者没有 robots 标签,默认即为索引)。
请为重复内容使用规范标签。如果您有多个内容相似或相同的页面,请通过规范标签的实现方式指明哪个版本是规范版本。规范标签告诉 Google 应当索引哪个页面、把哪些页面视为重复。没有恰当的规范化,Google 会索引多个版本,并把您的链接权重打散。
Google Search Console 的覆盖率报告会显示哪些页面已被索引、哪些被屏蔽。被标记为“已排除”的页面不会被索引。常见的排除原因包括“重复网页,用户未选定规范网页”、“被 robots.txt 屏蔽”或“已发现但尚未编入索引”。对于每一种排除,Search Console 都会解释原因并给出修复建议。
清晰的网站结构有助于 Google 理解您的内容层级。请使用有描述性的网址后缀,并把页面组织到合乎逻辑的分类中。请避免层级过深的网址结构。位于 `/products/category/subcategory/sub-subcategory/product` 的页面,比位于 `/products/product` 的页面更难被 Google 抓取。
内部链接架构很重要。从您的首页和主导航链接过去的页面会被更频繁地抓取,也承载更多权重。请建立合乎逻辑的链接层级,让重要页面与首页相距1到2次点击。请使用有描述性的锚文本(而不是“点击这里”),好让 Google 理解您的链接指向什么。
建立一份列出您重要页面的 XML 站点地图。站点地图有助于 Google 发现那些可能无法通过内部链接找到的页面。请把您的站点地图提交到 Google Search Console。对于拥有数千个页面或内容频繁变化的网站,站点地图尤其有价值。
Core Web Vitals 是衡量您网站用户体验的三项指标:Largest Contentful Paint(LCP)、Cumulative Layout Shift(CLS)和 Interaction to Next Paint(INP)。Core Web Vitals 是已确认的 Google 排名因素。指标差会损害您的排名,指标好则有帮助。
Largest Contentful Paint(LCP)衡量页面主要内容加载所需的时间。Google 建议 LCP 低于2.5秒。LCP 缓慢通常由服务器响应慢、阻塞渲染的 CSS、未优化的图片或体积过大的 JavaScript 文件造成。请通过提升服务器速度、延迟加载非关键 JavaScript 和压缩图片来优化 LCP。
Cumulative Layout Shift(CLS)衡量页面加载过程中出现的意外布局偏移。CLS 分数高意味着您的页面在加载时会跳动,令用户烦躁。常见的 CLS 问题包括未指定尺寸的图片、异步加载的广告,以及突然切换的字体。请通过在 HTML 中指定图片尺寸、为广告预留空间,以及在 @font-face 规则中使用 font-display: swap 来修复 CLS。
Interaction to Next Paint(INP)衡量对用户交互(点击、轻触、键盘输入)的响应速度。Google 建议 INP 低于200毫秒。INP 缓慢说明 JavaScript 的执行时间过长。请通过拆分耗时较长的 JavaScript 任务、减少第三方脚本的影响,以及使用现代渲染技术来优化 INP。
请使用 Google 的 PageSpeed Insights 工具测试您的 Core Web Vitals。该工具会提供真实用户数据(在可获得时)和实验室测量结果,以及具体的改进建议。
页面速度直接影响 Core Web Vitals 和用户体验。快速的页面排名更好、加载更好、转化也更好。缓慢的页面会让用户烦躁,并损害您的业务。请通过以下方式优化页面速度:
通过压缩和现代格式(WebP)减小图片文件体积。未优化的图片往往占页面体积的50%到80%。可能的话请使用图片 CDN。对首屏以下的图片使用延迟加载,让它们不会阻塞页面加载。把非关键资源(视频、首屏以下的图片)的加载推迟到用户滚动到附近时再进行。
精简并延迟 JavaScript。阻塞渲染的 JavaScript 会延迟页面绘制。请延迟加载非关键 JavaScript,或以异步方式加载它。请使用代码分割,只加载每个页面所需的代码。请移除未使用的 JavaScript 库和依赖。
优化 CSS。体积过大的 CSS 文件会阻塞渲染。请把首屏内容所需的关键 CSS 内联。把非关键 CSS 改为异步加载。请移除未使用的 CSS 规则。
启用 GZIP 压缩。压缩 HTML、CSS 和 JavaScript 可以把文件体积减小60%到80%。Web.dev 的性能学习路径提供了详细的优化指引。
使用内容分发网络(CDN)。CDN 从靠近您用户的服务器提供内容,从而降低延迟。CDN 还会缓存静态内容,在全球范围内提升加载速度。
HTTPS 是一项排名因素。Google 会优先考虑带有 SSL 证书的网站,而不是不安全的 HTTP 网站。每一个页面都应当通过 HTTPS 提供。您可以从 Let's Encrypt 或您的托管服务商处获取免费的 SSL 证书。请使用301 重定向把所有 HTTP 页面重定向到 HTTPS。
启用 HTTPS 之后,请在 Google Search Console 中把您的站点网址更新为 HTTPS 版本。这能确保 Google 抓取并索引您的安全站点。请留意混合内容(同时加载 HTTPS 和 HTTP 资源的页面),浏览器可能会就此向用户发出警告。
Google 如今把您网站的移动版本作为主版本来索引。如果您的移动站点缓慢、排版糟糕或缺少内容,您的排名就会受损。请确保您的移动站点是响应式的、加载迅速,并包含桌面站点上的全部内容。
请在移动模式下使用 PageSpeed Insights 测试移动优先索引。请核实按钮、表单和导航在触控设备上能正常工作。请在真实的移动设备上测试,而不只是浏览器模拟。
Schema.org 结构化数据有助于 Google 理解您的内容。为您的页面添加结构化数据标记,会提高出现在精选摘要、丰富摘要和知识面板中的机会。结构化数据标记本身不是排名因素,但它能解锁提升点击率的丰富搜索结果功能。
请确定适用于您内容的结构化数据类型(Article、Product、Recipe、Event、Organization、LocalBusiness)。请为每种内容类型实现 JSON-LD 结构化数据。请使用 Google 的富媒体搜索结果测试验证结构化数据。请在发布前修复每一处验证错误。
请建立一套技术 SEO 监测例程。每周查看 Google Search Console,关注新的抓取错误和索引问题。每月监测 Core Web Vitals。每季度对关键页面运行 PageSpeed Insights 测试。请追踪抓取预算和抓取统计,以确认 Google 正在高效地抓取您的网站。
请为排名下滑设置告警。排名突然下降有时预示着索引问题或抓取错误这类技术故障。请立即诊断,以防止流量长期损失。
技术 SEO 现在多了一类受众:AI 公司的爬虫,例如 OpenAI 的 GPTBot 和 OAI-SearchBot、Anthropic 的 ClaudeBot 以及 PerplexityBot。它们和 Googlebot 一样遵守 robots.txt,但大多不执行 JavaScript,因此只在浏览器端加载的内容对它们不可见。
技术 SEO 检查清单汇总了让搜索引擎和 AI 爬虫能够访问、读取并收录每个重要页面的检查项。每次改版或迁移后都要执行一次,并且至少每个季度一次:
单个页面可以用免费的 Sorank Chrome 扩展 一键检查技术、页面和 GEO 信号,整个网站则可以用 AI 可抓取性审计 测试。站点地图检查工具则覆盖 XML 站点地图。
技术 SEO 是让其他一切 SEO 工作成为可能的隐形基础设施。没有恰当的可抓取性、可索引性、性能和结构,您的内容和链接就无法带来成果。请掌握这些基本功:审查可抓取性、确保正确索引、改善 Core Web Vitals、优化页面速度,并实现结构化数据标记。这些技术根基对现代 SEO 的成功是不可妥协的。
请使用我们的GEO SEO 审计工具找出您整个网站的技术问题。我们的平台会以 Google 的方式抓取您的网站,找出抓取错误、索引问题和 Core Web Vitals 问题,并按影响力排定修复顺序。今天就开始一次免费的技术审计。
来源
如果 Google 无法抓取您的网站,就无法为您的页面建立索引,而没有索引就没有排名。常见问题包括被屏蔽的资源(CSS、JavaScript 文件)、屏蔽 Googlebot 的 robots.txt 规则、重定向循环,以及失效的内部链接。请用 Google Search Console 审查您的网站,找出抓取错误。
会。Core Web Vitals 是已确认的 Google 排名因素。在其他条件相同的情况下,Core Web Vitals 表现不佳的网站(LCP 慢、CLS 高、INP 高)排名会低于表现更好的竞争对手。不过,高度相关但指标不佳的内容,仍然可能胜过相关性较低但指标完美的内容。
至少每个季度做一次完整的技术 SEO 审计。每月监测 Core Web Vitals 和抓取错误是必不可少的。在任何重大改版、迁移或网站更新之后,上线后的技术审计都至关重要。技术问题可能突然出现,因此建议持续监测。
他们已先于您体验了 SORANK

