Sitemap、robots.txt 与公开 SEO 审计的边界

公开 SEO 审计要值得信任，关键在于准确说明边界。只有一个公开 URL 时，工具能检查的是未登录请求能够获取到的内容；它看不到 Search Console 表现、私有服务器日志、转化数据，也看不到需要应用会话才能渲染的全部页面。

这不是缺点，只要范围足够清楚。它可以成为一个有边界且可复现的起点：检查可发现的同源公开静态 HTML 和周围的标准文件。

公开请求实际能检查什么

对可访问 URL，有边界的抓取能读取响应，并检查可见的技术和页面信号。GenGrowth 通过两个独立视图呈现这些事实：SEO Agent 报告已观测的 Metadata、标题结构与结构化数据情况；Tech Agent 报告已观测的抓取、索引性与内链情况。两者都会保留本次采集覆盖范围，以及是否获取到 robots.txt 与 sitemap.xml。结果会把已经测量、无法获取和超出范围的检查分开。

这足以回答一些实际的第一步问题：

• 提交的 URL 是否返回可访问页面，或发生了跳转？
• 静态响应中是否有 Title、Description 与清晰的标题结构？
• 已采集的技术证据中是否出现静态索引指令、Canonical 或内链情况？
• 本次是否获取到标准 robots 与 sitemap 资源，或它们不可用、超出有边界扫描范围？

但它不足以断言页面已经收录、能排在某个查询下，或造成了某次流量下降。这些问题需要公开请求并不拥有的数据。

Sitemap 是发现辅助，不是收录回执

Google 说明 Sitemap 是提供站点认为重要的页面与文件信息的文件。它可以帮助较大或复杂站点的发现，但不保证其中 URL 一定会被抓取或收录。完整说明见 Google 的Sitemap 概览。

因此，审计发现 Sitemap 缺失时，应把它视为可用观察，而不是搜索可见度的判决。一个内部链接完善的小站可能不需要它；较大站点则可能即使内链健康也会受益。正确的下一步取决于站点规模、内容模型，以及重要页面能否通过常规导航抵达。

robots.txt 管理抓取，不等于管理搜索可见度

robots.txt 也经常被赋予超出其能力的含义。Google 说明它告诉爬虫哪些 URL 可以请求，主要用于管理抓取流量；它并不是让网页不出现在 Google 搜索中的可靠手段。若要阻止收录，需要合适的 noindex 控制，并让爬虫仍能读取该控制。可参考 Google 的robots.txt 指南。

因此，公开审计的有用输出应当很具体：

观察结果	合适的下一问
robots.txt 可访问	它是否有意允许抓取应该被抓取的页面？
robots.txt 缺失	在添加前，是否真的存在抓取管理需求？
页面似乎被禁止抓取	期望的是“不被请求”还是“不被收录”？这是不同的控制。
无法获取文件	站点是否公开、稳定，并向未登录请求返回正常响应？

在按分数行动前，先看覆盖说明

一个总分很诱人，但它可能掩盖最重要的事实：到底检查了多少。透明的公开审计应区分三种状态：

1. 已测量：请求获取到了所需的公开证据。
2. 无法获取：所需公开文件或响应未能读取。
3. 超出范围：问题需要已登录产品数据或更大范围的爬取。

例如，一个页面可以拥有有效标题，却依然自然流量很低。前者可由 HTML 观察，后者需要表现数据。把两种陈述分开，团队才能更清楚地把问题交给下一项诊断。

按未回答的问题选择下一件工具

当你想对页面信号做一次有边界的检查时，运行 SEO Agent；当问题是结构性的、需要一张受限关系图时，运行 Tech Agent。两者都需要已验证的 GenGrowth 账号，只读取公开静态 HTML，无需 Search Console 或站点所有权权限，本次营销站运行也不会保存到 App 项目。只有当决策依赖公开请求无法诚实证明的数据时，再进入连接数据源的完整项目。