摘要: scrapy-redis插件:实现分布式爬虫。 scheduler - 调度器 dupefilter - URL去重规则(被调度器使用) pipeline - 数据持久化 pip3 install scrapy-redis 一,url去重 二,调度器 三,数据持久化 四,起始url 五,eg # D 阅读全文
posted @ 2018-03-30 21:38 老王的农场 阅读(441) 评论(0) 推荐(0) 编辑
摘要: 发布: import redis pool = redis.ConnectionPool(host='127.0.0.1', port=6379) conn = redis.Redis(connection_pool=pool) conn.publish('fm104.5','sb') 订阅1 im 阅读全文
posted @ 2018-03-30 21:00 老王的农场 阅读(1212) 评论(0) 推荐(0) 编辑
摘要: API使用 redis-py 的API的使用可以分类为: 连接方式 连接池 操作 String 操作 Hash 操作 List 操作 Set 操作 Sort Set 操作 管道 发布订阅 String 操作 Hash 操作 List 操作 Set 操作 Sort Set 操作 一、操作模式 redi 阅读全文
posted @ 2018-03-30 12:33 老王的农场 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 1,安装,brew install redis /usr/local/Cellar/redis/4.0.9 2,创建链接并添加到开机启动 cp /usr/local/Cellar/redis/4.0.9/homebrew.mxcl.redis.plist ~/Library/LaunchAgents 阅读全文
posted @ 2018-03-30 10:08 老王的农场 阅读(278) 评论(0) 推荐(0) 编辑
摘要: django第三方缓存插件 数据类型: k -->"" k-->[1,2,3,2] k-->{'k1':'v1','k2':'v2'} k-->{11,222} 集合。不重复。 k-->{11(9),222(6)} 有序集合,不重复,可排序 1. 使用Redis有哪些好处? (1) 速度快,因为数据 阅读全文
posted @ 2018-03-30 09:22 老王的农场 阅读(102) 评论(0) 推荐(0) 编辑