摘要: 发布: import redis pool = redis.ConnectionPool(host='127.0.0.1', port=6379) conn = redis.Redis(connection_pool=pool) conn.publish('fm104.5','sb') 订阅1 im 阅读全文
posted @ 2018-03-30 21:00 老王的农场 阅读(1212) 评论(0) 推荐(0) 编辑
摘要: API使用 redis-py 的API的使用可以分类为: 连接方式 连接池 操作 String 操作 Hash 操作 List 操作 Set 操作 Sort Set 操作 管道 发布订阅 String 操作 Hash 操作 List 操作 Set 操作 Sort Set 操作 一、操作模式 redi 阅读全文
posted @ 2018-03-30 12:33 老王的农场 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 1,安装,brew install redis /usr/local/Cellar/redis/4.0.9 2,创建链接并添加到开机启动 cp /usr/local/Cellar/redis/4.0.9/homebrew.mxcl.redis.plist ~/Library/LaunchAgents 阅读全文
posted @ 2018-03-30 10:08 老王的农场 阅读(278) 评论(0) 推荐(0) 编辑
摘要: django第三方缓存插件 数据类型: k -->"" k-->[1,2,3,2] k-->{'k1':'v1','k2':'v2'} k-->{11,222} 集合。不重复。 k-->{11(9),222(6)} 有序集合,不重复,可排序 1. 使用Redis有哪些好处? (1) 速度快,因为数据 阅读全文
posted @ 2018-03-30 09:22 老王的农场 阅读(102) 评论(0) 推荐(0) 编辑
摘要: django 进来,执行parse,request 出去,执行parse,response 一个中间件写parse,request。一个中间件写parse,response方法。 一,memcache缓存,Django中提供了6种缓存方式: 开发调试 内存 文件 数据库 Memcache缓存(pyt 阅读全文
posted @ 2018-03-29 22:13 老王的农场 阅读(237) 评论(0) 推荐(0) 编辑
摘要: 1,add 添加一条键值对,如果已经存在的 key,重复执行add操作异常 2,replace 修改某个key的值,如果key不存在,则异常 3, set 和 set_multi set 设置一个键值对,如果key不存在,则创建,如果key存在,则修改set_multi 设置多个键值对,如果key不 阅读全文
posted @ 2018-03-29 12:05 老王的农场 阅读(134) 评论(0) 推荐(0) 编辑
摘要: from twisted.web.client import getPage from twisted.internet import reactor from twisted.internet import defer url_list = ['http://www.bing.com', 'htt 阅读全文
posted @ 2018-03-26 13:56 老王的农场 阅读(205) 评论(0) 推荐(0) 编辑
摘要: Https访问时有两种情况: 1. 要爬取网站使用的可信任证书(默认支持) DOWNLOADER_HTTPCLIENTFACTORY = "scrapy.core.downloader.webclient.ScrapyHTTPClientFactory" DOWNLOADER_CLIENTCONTEXTFACTORY = "scrapy.core.dow... 阅读全文
posted @ 2018-03-26 10:11 老王的农场 阅读(380) 评论(0) 推荐(0) 编辑
摘要: 代理,需要在环境变量中设置 from scrapy.contrib.downloadermiddleware.httpproxy import HttpProxyMiddleware 方式一:使用默认 os.environ { http_proxy:http://root:wowowo@192.168.11.11:... 阅读全文
posted @ 2018-03-26 10:00 老王的农场 阅读(830) 评论(0) 推荐(0) 编辑
摘要: 监测爬虫信息 查看操作命令: http://doc.scrapy.org/en/latest/topics/telnetconsole.html 阅读全文
posted @ 2018-03-25 18:58 老王的农场 阅读(329) 评论(0) 推荐(0) 编辑