随笔分类 -  High Concurrency

高并发
Redis的三种集群方案
摘要：1.Twemproxy Twitter开源集群方案. Twemproxy作为代理, 按照路由规则转发请求,给分片后的, 相对应的Redis数据库. 能够减少后端缓存服务器的连接数量. 使用C语言,单线程只能发挥单核性能. 需要注意: 代理本身也会消耗相当资源. 早期Redis的主流分布式方案.2.R 阅读全文
posted @ 2019-12-17 22:56 Jrri 阅读(531) 评论(0) 推荐(0) 编辑
epoll的水平触发和边缘触发
摘要：水平触发(Level Triggered): 当满足条件时, 触发. (select和poll采用该方式)边缘触发(Edge Triggered): 当状态变化时,触发. (信号驱动[Signal-Driven I/O]采用该方式) 过程: 当数据到来的时候, 触发器满足条件,发送通知, 进程接收到 阅读全文
posted @ 2019-12-17 19:25 Jrri 阅读(953) 评论(0) 推荐(0) 编辑
多进程+协程方案处理高IO密集,提升爬取效率
摘要：# coding=utf-8 import gevent from gevent import monkey # monkey.patch_all() gevent.monkey.patch_all(thread=False, socket=False, select=False) # 协程geve 阅读全文
posted @ 2019-08-18 13:59 Jrri 阅读(809) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示