会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
玉开Sir的技术博客
穷则变,变则通,通则久 寂寞平淡
博客园
首页
新随笔
联系
订阅
管理
2014年11月14日
如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求?
摘要: 本文提供了一种准确判断请求是否是搜索引擎发出请求的方法,非通过UserAgent判断,提供了Python实现判断的核心代码,和一个web工具!提供了常见搜索引擎蜘蛛的IP段,快速判断可以通过IP段判断
阅读全文
posted @ 2014-11-14 22:25 玉开
阅读(21835)
评论(6)
推荐(5)
编辑
公告