04 2021 档案

摘要:问题现象 使用cloudera-manager 新增了两台节点,并在上面部署了Datanode服务,服务部署成功后,并且也添加了Gateway,但是在新增的节点上使用HDFS的命令报错。 报错内容 Warning: fs.defaultFS is not set when running "ls" 阅读全文
posted @ 2021-04-19 13:26 彬在俊 阅读(573) 评论(0) 推荐(0) 编辑
摘要:问题现象 当启动 apache 时,出现一下异常:AH00543: httpd: bad user name apache 解决方法 groupadd apache #或 useradd -g apche apache 然后又报错: useradd: cannot open /etc/passwd 阅读全文
posted @ 2021-04-19 11:09 彬在俊 阅读(1032) 评论(0) 推荐(1) 编辑
摘要:一、问题现象 在打印java堆信息时报错。 jmap -heap \<PID> 二、报错内容 Error attaching to process: sun.jvm.hotspot.runtime.VMVersionMismatchException: Supported versions are 阅读全文
posted @ 2021-04-14 11:51 彬在俊 阅读(2283) 评论(0) 推荐(0) 编辑
摘要:HDFS缓存 集中式缓存管理,由Datanode堆外内存组成,Namenode统一管理 优点: 阻止频繁使用的数据从内存中删除 由于是Namenode统一管理,因此在读可以根据情况调度,提高读性能 客户端可以通过零拷贝技术直接读取缓存数据 提高集群内存利用率,读某个文件的时候会将 解决步骤 查看是否 阅读全文
posted @ 2021-04-13 18:29 彬在俊 阅读(369) 评论(0) 推荐(0) 编辑
摘要:一、事发背景 ​ 上个月的某一天,由于集群空间不足,公司有一位技术经理级别的大数据leader在通过跳板机在某个线上集群执行手动清理命令,疯狂地执行hadoop fs -rmr -skipTrash /user/hive/warehouse/xxxxx,突然,不知道是编辑器的问题还是换行问题,命令被 阅读全文
posted @ 2021-04-12 15:40 彬在俊 阅读(227) 评论(0) 推荐(0) 编辑
摘要:一、Presto界面几种查询状态 QUEUED –查询已被接受,正在等待执行。 PLANNING –正在计划查询。 STARTING –查询执行正在启动。 RUNNING –查询至少有一个正在运行的任务。 BLOCKED –查询被阻止,正在等待资源(缓冲区空间,内存,拆分等)。 FINISHING 阅读全文
posted @ 2021-04-07 18:03 彬在俊 阅读(398) 评论(0) 推荐(0) 编辑
摘要:需求 通过python实现请求请求携带用户名和密码来登录 clouderaManager 将curl -u <username>"<password> 'http://10.11.11.11:7180/api/v17/clusters/cluster/services/impala/impalaQu 阅读全文
posted @ 2021-04-06 17:34 彬在俊 阅读(836) 评论(0) 推荐(0) 编辑
摘要:简介 ● HBase是一个分布式的、面向列的开源数据库,开源版本默认提供了展示集群信息的UI,可以显示集群的实时信息,包括jmx,但是维护HBase只靠实时信息还不够,我们还需要将实时信息汇总起来变成监控图表,这样才能分析集群的运行状态,监控集群并及时发布告警。 ● Prometheus 是一个开源 阅读全文
posted @ 2021-04-06 15:54 彬在俊 阅读(489) 评论(0) 推荐(0) 编辑
摘要:一、基本概念及原理 elastic是实时分布式搜索分析引擎,内部使用luence作为索引和搜索。 什么是实时? 新增到 ES 中的数据在1秒后就可以被检索到,这种新增数据对搜索的可见性称为“准实时搜索”。 什么是全文? 对全部的文本内容进行分析,建立索引,使之可以被搜索,因此称为全文。 1.1 基本 阅读全文
posted @ 2021-04-03 15:32 彬在俊 阅读(320) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示