本站是搭建在阿里云下,用的Apache,最近网站访问量比较大,为了区别是百度蜘蛛还是有人恶意抓取,做了调整。Apache利用UA查看百度蜘蛛(Baiduspider)访问日志,具体方法如下:

找到apache的配置文件 httpd.conf

大概在200行左右找到以下语句

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common

更改为

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" common
LogFormat "%h %l %u %t \"%r\" %>s %b" combined

重启apache,然后就可以在log中发现“Baiduspider”字符。可以看百度蜘蛛(Baiduspider)访问记录了。

附:百度蜘蛛列表

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

文章版权归 鸽听网 所有,未经许可不得转载,责任编辑:李超。

分享到: