随笔分类 - Cloudera Manager技术相关
1
摘要:1.安装环境和软件准备 CentOS release 7.4 JDK1.8.0_121 mysql-connector-java-5.1.40-bin.jar CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel CDH-5.10.2-1.cdh5.10.2.p0.
阅读全文
摘要:1.迁移JournalNode节点 当你在HDFS服务中新加入一个JournalNode角色时,JournalNode角色需要的数据目录是没有被创建的。但你启用HDFS的HA后,NameNode必须需要JournalNodes都是正常的,并且可以接受edits更新,所以JN如果有问题,会直接导致NN
阅读全文
摘要:1.无法加载最新的supervisord 解决方案:ps -ef | grep supervisord kill -9 pid 2.cloudera-scm-agent dead but pid file exists 解决方案:ps -ef | grep cloudera-scm-agent,然后
阅读全文
摘要:1.cm-cluster2-HBase-2-HBase 安全授权(hbase.security.authorization)-simple改为true 2.添加配置 1)超级用户-加入root、hbase 2)点击左侧的master在 hbase.coprocessor.master.classes
阅读全文
摘要:hdfs可以将linux用户映射为hdfs用户,也就是说,你当前操作hdfs的用户身份就是你当前登录的linux用户 usermod -a -G hive admin 将admin用户加到hive组下 这样admin用户就可以操作/user/hive/warehouse文件夹了 hadoop hdf
阅读全文
摘要:CDH大数据集群修复记录 1)cm web打不开,查看监听7180端口产生了很多进程,于是kill进程;重启cloudera-cmf-server服务,几秒钟就挂了,查看cloudera-scm-server运行日志是由于mysql服务挂了。 2)查看mysql错误日志,mysql是默认安装在/根分
阅读全文
摘要:CDH大数据集群问题问题分析与解决方案 问题描述:Hive提交任务,一直卡在Reduce阶段,进度缓慢。 日志分析:NodeManager节点产生的usercache所在分区空间不足,导致进程异常退出。 解决方案:1)调整各个NodeManager节点的配置-/opt/yarn/nm、/spark/
阅读全文
摘要:①csd包:http://archive.cloudera.com/spark2/csd/ 下载SPARK2_ON_YARN-2.2.0.cloudera1.jar ②parcel包:http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1
阅读全文
摘要:CDH大数据平台实施经验总结2016(转载) 2016年负责实施了一个生产环境的大数据平台,用的CDH平台+docker容器的方式,过了快半年了,现在把总结发出来。 1. 平台规划注意事项 1.1 业务数据全部存储在datanode上面,所以datanode的存储空间必须足够大,且每个datanod
阅读全文
摘要:HDFS数据块所在存储的目录满了的解决方法 1.增加磁盘空间 2.删除回收站 hadoop dfs -du -h 查看各个HDFS空间占用情况 hadoop dfs -expunge 清空回收站 hadoop dfs -rm -skipTrash /user/path 删除目录跳过回收站 fs.tr
阅读全文
摘要:默认hive on spark是禁用的,需要在Cloudera Manager中启用。1.登录CM界面,打开hive服务。2.单击 配置标签,查找enable hive on spark属性。3.勾选Enbale Hive on Spark(Unsupported),并保存更改。4.查找Spark
阅读全文
摘要:集群运行故障分析(空间不足、时钟误差、状态不良) 调整空间、同步时间、重启 修复后: 各个数据节点容量分布情况
阅读全文
摘要:1.登录(浏览器输入ip地址:7180,登录用户名和登录密码即可)2.CM主界面(各个组件,监控图表,绿色代表运行正常、黄色代表运行不良,需要关注根据实际情况调整,红色代表故障,需要排查问题)3.点击左边的HDFS进入HDFS管理主页4.查看HDFS运行实例5.查看配置-服务范围-高级(根据实际情况...
阅读全文
摘要:1.安装操作系统,保证联网环境,本文以CentOS 6.8为操作系统(略)2.wget下载安装包(以5.3.3为例)#mkdir /usr/cdh ---新建cm安装目录#cd /usr/cdh ---切换目录#wget 获取下载链接文件到本地服务器#wget http://arch...
阅读全文
摘要:1.自动化运维--cloudera manager2.手动运维a.启动./start.all.sh,停止./stop-all.shb.hdfs启动/停止:./start-dfs.sh ./stop-dfs.shc.启动单个:./hadoop-daemon.sh start/stop nameno...
阅读全文
摘要:1.HDFS调优a.设置合理的块大小(dfs.block.size)b.将中间结果目录设置为分布在多个磁盘以提升写入速度(mapred.local.dir)c.设置DataNode处理RPC的线程数(默认为3),大集群可适当加大点(dfs.datanode.handler.count)d.设置Nam...
阅读全文
摘要:hadoop的运行环境---hadoop/jvm/os/hw原则1:主节点的可靠性要好于从节点:NameNode(Yarn-ResourceManager)、DataNode(NodeManager)可靠性要好于其他节点原则2:多路多核、高频率CPU、大内存的服务器---NameNode的内存决定了...
阅读全文
摘要:1.避免使用swap分区---将hadoop守护进程的数据交换到磁盘的行为可能会导致操作超时:物理内存(交换)--Swap分区2.调整内存分配策略---操作系统内核根据vm.overcommit_memory(0-表示是否可用的内存,1-表示分配所有的物理内存,2-表示分配所有的物理内存和交换空间的...
阅读全文
1