为impala开启HDFS缓存

 


HDFS缓存

集中式缓存管理,由Datanode堆外内存组成,Namenode统一管理

优点:

  • 阻止频繁使用的数据从内存中删除
  • 由于是Namenode统一管理,因此在读可以根据情况调度,提高读性能
  • 客户端可以通过零拷贝技术直接读取缓存数据
  • 提高集群内存利用率,读某个文件的时候会将

解决步骤

  • 查看是否开启缓存
    在这里插入图片描述

  • 查看当前是否存在缓存池

hdfs cacheadmin -listPools
  • 创建HDFS缓冲池
hdfs cacheadmin -addPool idnmk -owner hive
  • 设置高速缓存副本
alter table idnmk.t70_idn_loan_rate set cached in 'idnmk' with replication = 3;
  • 查看表状态
show table stats idnmk.t70_idn_loan_rate;
  • 查看HDFS高速缓存池里文件的状态
hdfs cacheadmin -listPools -stats idnmk

在这里插入图片描述

posted @   彬在俊  阅读(365)  评论(0编辑  收藏  举报
编辑推荐:
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
阅读排行:
· DeepSeek火爆全网,官网宕机?本地部署一个随便玩「LLM探索」
· 开发者新选择:用DeepSeek实现Cursor级智能编程的免费方案
· 【译】.NET 升级助手现在支持升级到集中式包管理
· 独立开发经验谈:如何通过 Docker 让潜在客户快速体验你的系统
· Tinyfox 发生重大改版
点击右上角即可分享
微信分享提示