索引问题调试
Posted: Tue Jan 28, 2025 9:10 am
使用元机器人和使用 robots.txt 阻止页面索引之间存在重要但微妙的区别。使用元机器人“noindex,follow”可让指向该页面的链接权益流向其链接到的页面。如果您使用 robots.txt 阻止该页面，那么您就是在将其冲入马桶。
在上面的例子中，我阻止了不是 工程师数据库 真实页面的页面 - 它们正在跟踪脚本 - 因此我没有失去链接权益，因为这些页面没有带有主菜单链接的标题等。
想象一下“联系我们”页面或“隐私政策”页面——可能通过主菜单或页脚菜单链接到您网站上的每个页面。因此，有大量链接流向这些页面；您只想丢弃它们吗？还是您宁愿让这些链接权益流向主菜单中的所有内容？这个问题很容易回答，不是吗？
什么时候你才真正想使用 robots.txt？也许如果你遇到了抓取带宽问题，并且 Googlebot 花费大量时间抓取实用页面，却发现其中存在元机器人“noindex,follow”，不得不放弃。如果你有太多这样的元机器人，以至于 Googlebot 无法访问你的重要页面，那么你可能不得不通过 robots.txt 进行阻止。
我已经看到许多客户通过清理他们的 XML 站点地图和不索引他们的实用程序页面来全面提高排名：
我每天真的有 6,000 到 20,000 个页面需要抓取吗？还是 Googlebot 正在抓取回复评论或通过电子邮件分享的 URL？
仅供参考，如果您有一组核心页面，其内容会定期更改（例如博客，新产品或产品类别页面），并且您有大量页面（例如单个产品页面），如果Google对其进行索引会更好，但不能以不重新抓取和索引核心页面为代价，您可以在XML站点地图中提交核心页面，以向Google提供线索，表明您认为它们比未被阻止但不在站点地图中的页面更重要。
在上面的例子中，我阻止了不是 工程师数据库 真实页面的页面 - 它们正在跟踪脚本 - 因此我没有失去链接权益，因为这些页面没有带有主菜单链接的标题等。
想象一下“联系我们”页面或“隐私政策”页面——可能通过主菜单或页脚菜单链接到您网站上的每个页面。因此，有大量链接流向这些页面；您只想丢弃它们吗？还是您宁愿让这些链接权益流向主菜单中的所有内容？这个问题很容易回答，不是吗？
什么时候你才真正想使用 robots.txt？也许如果你遇到了抓取带宽问题，并且 Googlebot 花费大量时间抓取实用页面，却发现其中存在元机器人“noindex,follow”，不得不放弃。如果你有太多这样的元机器人，以至于 Googlebot 无法访问你的重要页面，那么你可能不得不通过 robots.txt 进行阻止。
我已经看到许多客户通过清理他们的 XML 站点地图和不索引他们的实用程序页面来全面提高排名：
我每天真的有 6,000 到 20,000 个页面需要抓取吗？还是 Googlebot 正在抓取回复评论或通过电子邮件分享的 URL？
仅供参考，如果您有一组核心页面，其内容会定期更改（例如博客，新产品或产品类别页面），并且您有大量页面（例如单个产品页面），如果Google对其进行索引会更好，但不能以不重新抓取和索引核心页面为代价，您可以在XML站点地图中提交核心页面，以向Google提供线索，表明您认为它们比未被阻止但不在站点地图中的页面更重要。