点击“开始” 。 如果您正确地遵循了该步骤,那么您最终将抓取所有的 URL。如果没有,请返回并确保您没有遗漏任何内容。您必须允许爬虫程序爬取被阻止/未编入索引的 URL 。
然后你会在到一个复选框,上面写着“忽略 您可能需 孟加拉国号码数据 要标记它。在名为"高级"的选项卡的同一部分中,您将在到"尊重 Noindex"您可能还需要删除上面的标记。
它在起来会像这样: 尖叫青蛙标签.png 下载所有 HTML 并将其保存为 Excel 文件。将其命名为“最终抓取的测试站点”。这将是您稍后将检查的测试抓取。此外,我们捕获了测试站点的第一次抓取(test site crawl)。
最后,您将获得以下文件: 当前网站抓取 (xls) 当前站点抓取以供编辑 (xls) 测试站点抓取 (xls) 测试站点抓取以供编辑 (xls) 测试 Screaming Frog 的爬取功能 (txt) 最终抓取的测试站点(xls) 好的,你成功了。
现在您有了 Excel 格式的数据,您可以看到测试站点上哪些有效,哪些无效。这使您可以了解当前测试站点缺少什么。 第 6 步-分析您的数据。 我们正在寻找什么。 现在我们已经完成了所有的抓取,我们需要打开Screaming Frog 的名为“最终抓取的测试站点”的 XLS 电子表格。