为impala开启HDFS缓存
HDFS缓存
集中式缓存管理,由Datanode堆外内存组成,Namenode统一管理
优点:
- 阻止频繁使用的数据从内存中删除
- 由于是Namenode统一管理,因此在读可以根据情况调度,提高读性能
- 客户端可以通过零拷贝技术直接读取缓存数据
- 提高集群内存利用率,读某个文件的时候会将
解决步骤
-
查看是否开启缓存
-
查看当前是否存在缓存池
hdfs cacheadmin -listPools
- 创建HDFS缓冲池
hdfs cacheadmin -addPool idnmk -owner hive
- 设置高速缓存副本
alter table idnmk.t70_idn_loan_rate set cached in 'idnmk' with replication = 3;
- 查看表状态
show table stats idnmk.t70_idn_loan_rate;
- 查看HDFS高速缓存池里文件的状态
hdfs cacheadmin -listPools -stats idnmk
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Brainfly: 用 C# 类型系统构建 Brainfuck 编译器
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· DeepSeek 全面指南,95% 的人都不知道的9个技巧(建议收藏)
· 对比使用DeepSeek与文新一言,了解DeepSeek的关键技术论文
· Brainfly: 用 C# 类型系统构建 Brainfuck 编译器
· DeepSeekV3+Roo Code,智能编码好助手
· AI编程:如何编写提示词