会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
其实哥很宅
博客园
首页
新随笔
联系
订阅
管理
2016年2月23日
如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求?
摘要: 网站经常会被各种爬虫光顾,有的是搜索引擎爬虫,有的不是,通常情况下这些爬虫都有UserAgent,而我们知道UserAgent是可以伪装的,UserAgent的本质是Http请求头中的一个选项设置,通过编程的方式可以给请求设置任意的UserAgent。 所以通过UserAgent判断请求的发起者是否
阅读全文
posted @ 2016-02-23 08:44 其实哥很宅
阅读(760)
评论(0)
推荐(0)
编辑
公告