摘要： XML 站点地图生成器从首页出发，像 Googlebot 一样跟随内部链接，遵守 robots.txt，只保留返回 200、没有 noindex 且规范链接指向自身的页面。您会得到可下载的 sitemap.xml 文件，以及被排除页面的列表和每个页面的原因。
XML 站点地图告诉搜索引擎您的网站有哪些页面值得收录。充满重定向、错误或 noindex 页面的站点地图会发出矛盾信号，浪费抓取预算，Google 也会逐渐降低对它的信任。干净的站点地图只列出您真正希望出现在搜索结果中的网址。
生成器如何构建文件
- 像爬虫一样探索：只在同一域名内跟随页面中的链接，跳过文件、追踪参数、购物车和搜索页。
- 遵守 robots.txt：对 Googlebot 屏蔽的页面会被排除并标注。
- 只保留可收录的页面：状态 200、无 noindex、规范链接指向页面本身。
- 添加最后修改日期：前提是服务器提供该信息。
下载之后
- 把 sitemap.xml 上传到网站根目录，例如 example.com/sitemap.xml。
- 在 robots.txt 中加入一行 Sitemap:，后接完整地址。
- 在 Google Search Console 和 Bing Webmaster Tools 中提交。
- 增删页面后重新生成，或让 CMS 自动更新。
免费版最多抓取 50 个页面。要检查现有的站点地图，请使用站点地图检查工具。要控制爬虫可抓取的范围，请使用 robots.txt 生成器。Sorank 会把发布的每篇文章加入您的站点地图。
