Redis vs kafka
摘要：kafka的订阅可以重复消费，但redis的不行，只能收到订阅之后发布的数据 redis无法实现消息堆积和回溯 ////////// redis消息队列重复消费不好实现 redis消息队列没有ack，redis无法知道消息是否被正常处理了 /////////// 1 Redis是个数据库，可以改、查
阅读全文
posted @ 2019-07-23 18:40
随笔分类 - 学习笔记
杂记
摘要：参考资料：https://segmentfault.com/a/1190000018626163 对于海量文件存储，可通过分布式文件系统HDFS解决，对于key value类型的数据，可通过HBase和Redis等方案解决，对于全文检索场景，可通过搜索引擎如ElasticSearch解决，对于多维分
阅读全文
posted @ 2019-07-16 11:38
python 杂记 网络
摘要：select是不断轮询去监听的socket，socket个数有限制，一般为1024个（文件描述符为1024，该值可以修改）；随着文件描述符数量增加，轮询一回成本增加。poll采用轮询方式监听，只不过没有个数限制；epoll不采用轮询方式去监听，而是当socket有变化时通过回调的方式主动告知用户进程
阅读全文
posted @ 2019-07-13 19:13
python2.7 psycopg2
摘要：psycopg2 安装 进行 "增"、"删"、"改"的时候，一定要使用try…except…语句，因为万一没插入成功，其余代码都无法执行。当语句执行不成功，我们就db.rollback()回滚到操作之前的状态；当语句执行成功，我们就db.commit()提交事务
阅读全文
posted @ 2019-06-12 14:12
flask读书笔记-flask web开发 flask请求对象
摘要：在应用启动过程中， Flask 会创建一个 Python 的 logging.Logger 类实例，并将其附属到应用实例上，通过 app.logger 访问 容器映像经常使用 Alpine Linux，因为它体量小。 在dockerfile里创建用户，并切换到此用户。 adduser 命令的 -D
阅读全文
posted @ 2019-06-07 19:30
ubuntu redis 安装 &基本命令
摘要：重启Redis服务器：sudo /etc/init.d/redis-server restart 配置文件：/etc/redis/redis.conf 打印出所有[与pattern相匹配的]活跃频道：PUBSUB CHANNELS [pattern] 活跃频道指的是那些至少有一个订阅者的频道订阅频道
阅读全文
posted @ 2019-06-02 13:07
redis 订阅&发布（转载）
摘要：https://segmentfault.com/a/1190000016898228?utm_source=coffeephp.com 方法一： redis_helper.py: 封装发布订阅方法 redis_pub.py: 发布者 redis_sub.py: 订阅者 方法二： redis_hel
阅读全文
posted @ 2019-06-02 11:14
Redis键值设计(转载）
摘要：参考资料：https://blog.csdn.net/iloveyin/article/details/7105181 丰富的数据结构使得redis的设计非常的有趣。不像关系型数据库那样，DEV和DBA需要深度沟通，review每行sql语句，也不像memcached那样，不需要DBA的参与。red
阅读全文
posted @ 2019-06-01 18:15
celery
摘要：celery的最佳实践：https://www.cnblogs.com/ajianbeyourself/p/3889017.html#_label1 原版：https://denibertovic.com/posts/celery-best-practices/ 最佳实践里提到的7个问题： 1，不要
阅读全文
posted @ 2019-04-11 14:30
mongodb 性能
摘要：mongo 性能：http://www.mongoing.com/docs/tutorial/optimize-query-performance-with-indexes-and-projections.html 1）$inc 是有原子性保证的 2）save根据所保存的对象是否包含非空(null)
阅读全文
posted @ 2019-04-08 16:00
前端知识
摘要：参考资料：https://www.imooc.com/learn/864 wtforms SQL注入：select * from users where name=1 and pwd=1 or 1=1
阅读全文
posted @ 2019-04-05 19:28
部署 & virtualen
摘要：安装:apt-get install virtualen supervisor 根据依赖文件安装所有依赖=
阅读全文
posted @ 2019-03-28 22:49
redis 初探
摘要：防止链接超时：conn = redis.Redis(host=self.settings['REDIS_HOST'], port=self.settings['REDIS_PORT'], health_check_interval=30) 下载地址：https://github.com/Servic
阅读全文
posted @ 2019-02-12 17:05
IO密集型 计算密集型
摘要：参考：https://www.cnblogs.com/zhangyux/p/6195860.html 参考：廖雪峰 协程 gevent IO密集型任务指的是磁盘IO或者网络IO占主要的任务，计算量很小，比如请求网页，读写文件等。 读写文件，socker receive/send 计算密集型任务指的是
阅读全文
posted @ 2018-12-18 19:24
AI
摘要：深度学习500问：https://github.com/scutan90/DeepLearning-500-questions PyTorch: https://github.com/bharathgs/Awesome-pytorch-list TensorFlow教程:https://mp.wei
阅读全文
posted @ 2018-11-01 18:25
十二五
摘要：网络技术基础教程 1.《计算机网络基础》，“十二五”职业教育国家规划教材，ISBN:978-7-04-040875-1，高等教育出版社，2015年7月。 2.《计算机网络基础技能练习》，“十二五”职业教育国家规划配套教材，ISBN:978-7-04-043068-4，高等教育出版社，2015年8月。
阅读全文
posted @ 2018-09-08 17:01
tcp
摘要：如果读缓冲满了怎么办，网卡收到了对方的消息要怎么处理？一般的做法就是丢弃掉不给对方ack，对方如果发现ack迟迟没有来，就会重发消息
阅读全文
posted @ 2018-07-02 19:21
JRE vs OpenJDK vs Oracle JDK
摘要：JRE vs OpenJDK vs Oracle JDK 在我们继续了解如何安装Java之前，让我们快速地了解JRE、OpenJDK和Oracle JDK之间的不同之处。 JRE（Java Runtime Environment），它是你运行一个基于Java语言应用程序的所正常需要的环境。如果你不是
阅读全文
posted @ 2018-06-06 14:19
hdfs mapreduce hbase
摘要：参考资料：http://www.cnblogs.com/sharpxiajun/p/5585613.html 大数据时代的数据量是超大规模的，传统的关系数据库已经很难存储和管理这些数据了，为了存储海量数据，我们有了HDFS，它可以把成千上万台服务器上的硬盘聚集成一块超级大的硬盘，为了让这些数据产生价
阅读全文
posted @ 2018-05-19 22:51
