昨天何先生在查看网站日志的时候发现一个新蜘蛛 Baiduspider-render ,对我网站疯狂抽插,当时以为是假蜘蛛,本想屏蔽掉,搜索了一下关键词,原来是百度更新了算法,新增渲染抓取UA,增加的UA主要为 Baiduspider-render,目的为访问网站的 CSS、Javascript 和图片信息,之前百度 Spider 无法抓取识别 Javascript。

这样看来原来是好事,不然我就把百度这个大爷拒之门外了。

百度官方公告:

百度 Baiduspider-render 新 UA 可抓取 CSS、Javascript

为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。从昨天开始,百度搜索抽取了部分优质站点进行抓取内测,可能会对站点服务器造成一定压力影响,请尽量不要对UA进行封禁,以免造成不可逆转的损失。

最新UA如下:

PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移动端口:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
赞(0)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

×
打赏作者
展开阅读更多

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

表情
图片 链接 代码

评论(5)