1. 「柴叔SEO」首页
  2. 整站优化

机器人协议的最小细节容易被忽略但致命

seo2.jpg

在我看来,机器人协议是网站管理员执行文件,以行使控制网站的权利。这是我们作为网站管理员的最基本权利。这是搜索引擎蜘蛛在抓取网站之前所面临的第一点,因此可以想象机器人协议的重要性。所有人都说细节决定成败,那么更重要的事情就是详细[.]

在我看来,机器人协议是网站管理员执行文件,以行使控制网站的权利。这是我们作为网站管理员的最基本权利。这是搜索引擎蜘蛛在抓取网站之前所面临的第一点,因此可以想象机器人协议的重要性。据说细节决定成败,然后更重要的事情尤为重要,而且你不小心忽视的细节往往会成为你致命的打击。我之所以这么说是因为我几乎成了这个问题的反面。幸运的是,及时发现也是一种补救措施!我想与大家分享的原因是希望你在将来站立时避免犯同样的错误。

实际上事情发生在今天,在这之后就是这样:因为小明SEO博客刚刚做完,前几天,网站上线后,我发现还有很多小问题需要处理,以便避免网站被搜索引擎调整。我抓住它,所以我在机器人协议中写了指令,禁止所有搜索引擎抓取网站的任何部分。该网站的调整持续了几天(我之所以要这样做很长时间的原因是因为我是一个无法忍受的人。我不知道这是否是一种痴迷 – 强迫症。直到2月3日才完成,但我坚持每天都要添加原创文章。昨天,在网站检查完毕并解决了所有问题之后,我更换了机器人协议并发了一个帖子让蜘蛛寄希望了爬虫可以过来抓我的网站。这样,我发现该网站今天早上还没有收录,所以我去了百度网站管理员工具平台,看看我的网站发生了什么。我去看了并且害怕我,因为我看到了下面的一个(如图所示)。信息):

我的网站完全禁止百度。检测时间是今天(2月4日)早上5点。这让我觉得自己像是张尔的和尚。我太不科学了,因为我在2月3日早上更改网站的机器人协议真的很奇怪。就在我困惑的时候,我终于通过网站管理员平台工具的“机器人检测”找到了答案。请看下面的图片:

事实证明,在我的网站蜘蛛上线后的第三天,百度蜘蛛已经抓取了我网站的机器人协议。因此,当前生效的协议是我完全封锁蜘蛛时捕获的协议。机器人协议尚未生效。我终于明白了,因为我弄清楚了原因,所以会更容易。所以我立即提交了更新协议,如下所示:

协议将在更新后的一分钟内更新,如下所示:

可以看出,本网站上的最新机器人已经生效,所以下午,当我再次进入百度网站管理员平台时,我收到了一条新消息,如下图所示:

到目前为止,该网站已经取消了对机器人协议的百度全面禁令。检测时间显示在今天下午2点。到了晚上,差不多三个小时前。当我再次检查网站时,网站的主页已经包含在内。如下图所示:

原创文章,作者:柴叔seo,如若转载,请注明出处:https://www.cxta.com/8614.html

发表评论

登录后才能评论

联系我们

13888888888

在线咨询:点击这里给我发消息

邮件:888888@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code