在Python3.5下安装和测试Scrapy爬网站
摘要：
Scrapy框架结构清晰，基于twisted的异步架构可以充分利用计算机资源，是爬虫做大的必备基础。本文将讲解如何快速安装此框架并使用起来。 阅读全文
posted @ 2016-10-28 11:06 华天清 阅读(3065) 评论(0) 推荐(2) 编辑
快速制作规则及获取规则提取器API
摘要：
前面文章的测试案例都用到了集搜客Gooseeker提供的规则提取器，在网页抓取工作中，调试正则表达式或者XPath都是特别繁琐的，耗时耗力，工作枯燥，如果有一个工具可以快速生成规则，而且可以可视化的即时验证，就能把程序员解放出来，投入到创造性工作中。 阅读全文
posted @ 2016-10-28 10:59 华天清 阅读(1405) 评论(0) 推荐(0) 编辑
