2014年11月14日
如何准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求？
摘要： 本文提供了一种准确判断请求是否是搜索引擎发出请求的方法，非通过UserAgent判断，提供了Python实现判断的核心代码，和一个web工具！提供了常见搜索引擎蜘蛛的IP段，快速判断可以通过IP段判断 阅读全文
posted @ 2014-11-14 22:25 玉开 阅读(21910) 评论(6) 推荐(5) 编辑