随笔分类 - Redis
spark 批量写入redis控制
摘要：需求 spark scala 程序 读取hive数据，sparksql解析 然后分批写入redis 原则： 一、尽可能少和redis交互，减少redis写入压力。 二、可以考虑pipeline的操作习惯。 三、不要一个partition只提交一个pipeline 网络传输压力大 内存消耗高 Redi
redis知识点
摘要：redis知识点 场景类 缓存 缓存穿透 定义：大量查询业务不存在的key击穿redis，直接查询数据库. 解决方案： value null 实施：来一个这样的key，写入到缓存中，将其值设置为null。 缺点： 会缓存大量这样的内容，内存存在溢出可能。 后续如果有这样的业务key生成，则缓存中的数
