摘要：
一、利用scrapy-redis进行url去重 二、调度器 三、持久化操作 四、起始url相关 五、配置示例 1、settings配置文件 2、爬虫文件 六、总结： 阅读全文
摘要：
一、前言 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remo 阅读全文