判断已覆盖范围,不要看扫描进度条停在哪,而要看中断前已经落盘的结果里,哪些页面是“有明确结论”的,哪些只是“被访问过”。全站扫描被中断后,真正可用的范围是已完成抓取且已写入结果文件的那部分,未写入的页面即使被访问过也不应算作覆盖。你可以先按下面四步,把中断前的结果切成“可继续用”和“必须重跑”两段。
多数百度seo排名软件的全站扫描至少包含三层动作:发现URL、请求页面、解析并写入结果。中断可能发生在任意一层,覆盖范围的含义完全不同。
可执行动作:打开结果文件,按URL去重后统计条数,再和站点地图或站内链接总数对比。如果结果条数明显少于你已知的页面量,说明中断影响的是发现或写入,而不是个别页面失败。
覆盖范围不完整,未必全是中断的错。下面三种原因需要分开验证,否则你会把正常情况误判成中断损失。
可执行动作:从结果文件中抽取缺失URL样本,手动请求其中几个。如果它们能正常返回200,说明是中断造成的缺口;如果返回错误码或跳转,说明它们本来就不该计入有效覆盖。这个判断直接决定下一步是重跑全站,还是只补抓缺失部分。
不要停留在“覆盖了多少”这个数字上,而要把它变成下一步动作的依据。假设一次扫描覆盖了结果文件中的800条URL,其中600条有标题和状态码,200条只有URL没有解析结果。此时可用的范围是600条,另外200条需要重跑。
具体做法:
如果差集很小,比如只缺几十条,可以只补抓这批URL;如果差集覆盖了多个栏目,说明中断发生在早期,重跑全站比补抓更可靠。这个取舍取决于缺口是否集中在某几个目录,而不是取决于总条数。
如果站点结构在中断前后发生了变化,比如新增了栏目或调整了URL规则,那么中断前的结果只能代表旧结构,不能直接和当前站点地图对比。此时应先确认变化范围:只影响新页面,还是影响了已有页面的链接关系。
若只影响新增页面,旧结果仍可用于已有页面的分析,只需补抓新增部分;若影响了已有页面的链接路径,旧结果中的覆盖范围已经失效,应按新结构重新扫描。判断依据是:变化是否改变了页面之间的可达路径。可达路径变了,覆盖范围就必须重新计算。
最后提醒一点:扫描中断后,抓取量归零或结果条数偏少,不能单独证明工具处理正确或错误,它也可能由网络波动、目标站点限速或本地资源不足引起。先验证原因,再决定重跑范围,比直接重跑全站更省时间。