随笔分类 -  hadoop

zookeeper的几种授权方式
摘要：zookeeper授权方式设置 一、设置授权 1.1、IP白名单方式 备注：对需要进行白名单设置的路径进行设置，此处设置的路径没有继承关系，即设置了/test的白名单，但是/test/test2依然没有设置为白名单。 setAcl /test ip:127.0.0.1:cdrwa 权限组合字符串，由 阅读全文
posted @ 2022-10-10 13:34 fengjian1585 阅读(1171) 评论(0) 推荐(0) 编辑
AMBARI平台的NAMENODE LAST CHECKPOINT（HDFS上一次检查点异常分析）错误
摘要：点开来具体查看发现Active NameNode和Stanby NameNode都有上一次检查点的告警。 2.解决方法是要我们手动保存一次HDFS的检查点输入以下命令 摘自 https://www.freesion.com/article/9575249903/ 阅读全文
posted @ 2021-11-29 16:49 fengjian1585 阅读(383) 评论(0) 推荐(0) 编辑
Dolphinscheduler2.0.0 可视化工作流任务调度平台 部署
摘要：Dolphinscheduler 下载： wget --no-check-certificate https://dlcdn.apache.org/dolphinscheduler/2.0.0-alpha/apache-dolphinscheduler-2.0.0-alpha-bin.tar.gz 阅读全文
posted @ 2021-11-03 16:57 fengjian1585 阅读(1712) 评论(0) 推荐(0) 编辑
zookeeper 集群搭建
摘要：zk集群规划 10个客户端节点: 3个zk节点 10-5-个客户端节点: 5 + 2OB 节点 = 7 zk节点 50-100个客户端节点: 5 + 6OB = 11zk节点 在 ZooKeeper 集群服务运行的过程中，Observer 服务器与 Follow 服务器具有一个相同的功能，那就是负责 阅读全文
posted @ 2021-04-05 17:00 fengjian1585 编辑
hadoop 性能调优与运维
摘要：hadoop 性能调优与运维 硬件选择 1) hadoop运行环境 2) 原则一： 主节点可靠性要好于从节点 原则二：多路多核，高频率cpu、大内存， namenode 100万文件的元数据要消耗800M内存，内存决定了集群保存文件数的总量， resourcemanager同时运行的作业会消耗一定的 阅读全文
posted @ 2016-12-23 11:57 fengjian1585 阅读(3059) 评论(0) 推荐(0) 编辑
storm学习
摘要：一　storm 相关术语 二 storm集群架构图 2. 数据处理流程 3. 拓扑图分析 storm主要特点 storm与 yarn结合 ，storm 运行在yarn之上 storm安装 阅读全文
posted @ 2016-12-21 17:38 fengjian1585 阅读(248) 评论(0) 推荐(0) 编辑
spark 简介
摘要：spark 是基于内存计算的 大数据分布式计算框架，spark基于内存计算，提高了在大数据环境下处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将spark部署在大量廉价的硬件上，形成集群。 1. 分布式计算2. 内存计算3. 容错4. 多计算范式 spark优势 spark的架构 1.spa 阅读全文
posted @ 2016-12-21 14:24 fengjian1585 阅读(593) 评论(0) 推荐(0) 编辑
flume 配置
摘要：[root@dtpweb data]#tar -zxvf apache-flume-1.7.0-bin.tar.gz[root@dtpweb conf]# cp flume-env.sh.template flume-env.sh 修改java_home[root@dtpweb conf]# cp 阅读全文
posted @ 2016-12-19 19:13 fengjian1585 阅读(477) 评论(0) 推荐(0) 编辑