随笔分类 - Python
摘要：场景 有时遇到处理数据的场景，比如跑的数据是一个文件格式，有可能数量量很大，导致文件很大。 当文件到1GB、10GB或者以上时，首先用vim或者其它编辑器打开会比较慢。 有的时候希望并发处理，将大文件分割为多个小文件，同时在不同节点处理，加快处理速度。 思路 源码文件：split_file.py 输
阅读全文
摘要：场景 项目中很多地方使用Redis，有的用于缓存，有的直接做为存储，有的key设置有过期，有的key没有过期时间。 随着时间增长，Redis存储数据越来越多，消耗内存不断增长； 无论测试或生产环境，总内存是有限的； 有的key可能临时或测试使用的； 于是有了清理Redis key的需求。 Redis
阅读全文
