摘要：
在很多时候，我们使用webmagic爬取网站的时候，爬取的数据希望存储在mysql、redis中。因此需要对其扩展，实行自定义PipeLine。首先我们了解一下webmagic 的四个基本组件 一、 WebMagic的四个组件 1、Downloader Downloader负责从互联网上下载页面，以 阅读全文
摘要：
Redis是一个基于内存的数据库，其不仅读写速度快，每秒可以执行大约110000的写操作，81000的读取操作，而且其支持存储字符串，哈希结构，链表，集合丰富的数据类型。所以得到很多开发者的青睐。加之其支持主从、持久化等功能，3.0版本开始正式提供分片技术、让其在大型互联网应用中大显身手，本文通过实 阅读全文