百度蜘蛛出现在许多类别中,不仅包括网页,包括视频,联盟和馆藏。
一些第三方平台(非搜索引擎)也有蜘蛛爬行站点进行数据分析,个别工具甚至可以模拟百度蜘蛛(Agent伪装)。
我相信拥有匿名蜘蛛的搜索引擎优化人员可能是基于针对搜索引擎的官方黑帽方法的反作弊措施。
例如,匿名蜘蛛的存在可以极大地帮助判断Bridge Page和Cloaked Page。
理论上,百度官员不需要使用匿名蜘蛛,但SEO行业的许多人都相信有匿名蜘蛛。
百度的人工审核机制更为明显,这可能是其中一个原因。事实上,所有搜索引擎都有人工干预,这是合理的。
我个人对此持怀疑态度,并且每天忽略匿名蜘蛛问题。没有作弊,你可以免费担心。
请记住,搜索引擎优化不是一个欺骗性的搜索引擎,搜索引擎最终为用户服务,网站最终可供用户访问。
SEO应该掌握好的程度,找到搜索优化和用户体验的最佳组合,并且必须为用户提供有价值的内容。
随着搜索引擎技术的更新和社交信息的推广,即使使用匿名蜘蛛,角色也会变弱。