2016年2月23日
如何准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求？
摘要： 网站经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是可以伪装的，UserAgent的本质是Http请求头中的一个选项设置，通过编程的方式可以给请求设置任意的UserAgent。 所以通过UserAgent判断请求的发起者是否 阅读全文
posted @ 2016-02-23 08:44 其实哥很宅 阅读(776) 评论(0) 推荐(0) 编辑