seo5.jpg

小编:[江门网站推广]百度搜索引擎蜘蛛分析

[江门网站推广]百度搜索引擎蜘蛛分析

你怎么看百度蜘蛛是否来过这里?如何正确识别百度蜘蛛?如何进行蜘蛛爬行诊断?如何通过百度蜘蛛IP了解网站的状态?

首先,如何检查百度蜘蛛是否来到网站

可以通过查看网站日志进行分析。 Windows服务器的IIS和Linux服务器的Apache都具有记录网站日志的功能。

二,如何区分百度蜘蛛

百度正式提供以下方法来识别百度蜘蛛。

1.查看UA

首先,UA是正确的。百度已宣布以下UA。

Mobile UA: Mozilla/5.0(Linux; u; Android 4.2.2; zh-cn;)AppleWebKit/534.46(KHTML,likeGecko)版本/5.1 Mobile Safari/10600.6.3(兼容; Baiduspider/2.0; +)

PC UA: Mozilla/5.0(兼容; Baiduspider/2.0; +)

添加了渲染UA:

移动UA:Mozilla/5.0(iPhone; CPU iPhone OS 9_1喜欢Mac OS X)AppleWebKit/601.1.46(KHTML,类似Gecko)版本/9.0 Mobile/13B143Safari/601.1(兼容; Baiduspider-render/2.0; +)

PC UA:Mozilla/5.0(兼容; Baiduspider-render/2.0; +)

三,如何通过百度蜘蛛IP了解网站状态

1.抓住你网站的网络蜘蛛

60.172.229.61

61.129.45.72

61.135.162。*

2.百度招标蜘蛛

61.135.165.134

117.34.74.66

118.122.188.194

119.63.196.9

125.39.78.185

3,百度统计蜘蛛

61.135.186。*

4.百度蜘蛛模仿网站管理员工具

61.147.98.146

61.188.39.16

113.98.254.245

117.21.220.245

117.28.255.42

5.通过搜索外部网站管理员工具模仿百度蜘蛛

124.248.34.52

6,114网站管理员工具箱模仿百度蜘蛛

119.147.114.213

121.10.141。*

7,百度图片蜘蛛

123.15 ** **

8.以低权重抓取网站的非原始权重,需要检查一段时间

123.125.71 *

9,使用网站管理员工具检测是没用的

125.90.88。*

10,百度调查期间蜘蛛或动力减少蜘蛛

159.226.50 *

180.76.5。*

180.76.5.87

220.181.158.107

11,伪装百度蜘蛛

180.149.130。*

12.新站和站点有异常

183.91.40.144

203.208.60 *

13.每个车站都经过不间断的巡逻

210.72.225。*

14.沙箱或K站。

123.125.68 *

218.30.118.102

220.181.68 *

15.这个ip抓取的文章或主页,在24小时内发布和隔夜快照

220.181.108。*

16,百度蜘蛛IP已经来了,准备爬行了

123.125.66 *

220.181.7。*

17.花费新的检查期

121.14.89。*

18,百度抓取主页的私有IP,网站主页快照更新速度快,一夜之间更新

220.181.108.95

19,百度的重量IP段,第二天抓到的文章,重量更高

220.181.108.92

20,综合重量IP,爬行物品和主页,重量更高

220.181.108.91

220.181.108.75

21.抓住内页,但重量较低

123.125.71.95

123.125.71.97

123.181.108.77

123.125.71.106

22.抓住网站的主页,该网站也属于权重部分,权重较高。

220.181.108.89

220.181.108.94

220.181.108.97

220.181.108.80

220.181.108.77

220.181.108.83

220.181.108.86

当前网址:sougouyouhua/704.html