随笔分类 -  CDH

CDH6.2缩容
该文被密码保护。

posted @ 2020-01-07 21:28 锋锋2019 阅读(5) 评论(0) 推荐(0) 编辑

2个CDH的hive数据同步
摘要:算法和数仓共用一套hive数据: CM: 真实数据: 都存在共享存储: oss, s3,ufile上. CDH配置能访问的权限(key) 阅读全文

posted @ 2019-12-20 15:28 锋锋2019 阅读(712) 评论(0) 推荐(0) 编辑

CDH6.2的spark访问oss
摘要:CDH6配置oss后:spark的配置 /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hive/lib/opt/clo 阅读全文

posted @ 2019-12-14 21:05 锋锋2019 阅读(1130) 评论(0) 推荐(0) 编辑

CDH6.2上配置各种对象存储
摘要:cm-hdfs: ufile: 还需添加jar包 S3:是自带jar包 OSS: CDH6不需要下载包, CDH5需要 core-site.xml 的群集范围高级配置代码段(安全阀) fs.oss.endpoint oss-eu-west-1.aliyuncs.com #oss的外网地址fs.oss 阅读全文

posted @ 2019-12-11 10:27 锋锋2019 阅读(1282) 评论(0) 推荐(0) 编辑

cm_api
摘要:cm API:https://github.com/cloudera/cm_api/tree/master/python/examples/auto-deploy#看集群有几个clustercurl -u admin:opaytest99 'http://localhost:7180/api/v1/ 阅读全文

posted @ 2019-11-04 21:40 锋锋2019 阅读(371) 评论(0) 推荐(0) 编辑

hue数据导出
摘要:1/ 执行要下载的sql语句 2/ 执行完成后,点击下面导出 3、选择所有 4、选择每个人对应的文件夹,没有自己名称的可以创建一个 5、选择导出 6、右面是导出执行时的界面 7、选择已经执行的文件 8、按照下面截图提示,就可以将文件下载到本地了 阅读全文

posted @ 2019-09-24 17:18 锋锋2019 阅读(6618) 评论(0) 推荐(0) 编辑

tez
摘要:参考: 原理: https://www.cnblogs.com/rongfengliang/p/6991020.html https://www.cnblogs.com/hankedang/p/4210598.html 就在作业中set hive.execution.engine=tez;?将tez 阅读全文

posted @ 2019-09-11 16:11 锋锋2019 阅读(347) 评论(0) 推荐(0) 编辑

CDH管理节点扩容磁盘步骤
摘要:把4个节点加12G内存,把hive的heap调到6G,按group重启服务让配置生效 注: 停服务前在yarn的application webui查flink的application id yarn application -kill application_1567486895264_9227 1 阅读全文

posted @ 2019-09-03 15:26 锋锋2019 阅读(1899) 评论(0) 推荐(1) 编辑

CDH的ntp时间同步
摘要:云服务器: ntpq -p ntpdate -u 10.52.255.1 #手动同步 自建NTP服务器: https://www.cnblogs.com/yinzhengjie/p/9480665.html 阅读全文

posted @ 2019-09-03 15:19 锋锋2019 阅读(1312) 评论(0) 推荐(0) 编辑

hdfs的balancer
摘要:参考: https://blog.csdn.net/mnasd/article/details/80369603 在CDH中选一个资源多的节点,安装 HDFS->添加角色到实例 启动后状态是灰的 在做平衡之前,可做相关参数调整: 在hdfs的配置中输入balancerdfs.datanode.bal 阅读全文

posted @ 2019-08-30 15:25 锋锋2019 阅读(1489) 评论(0) 推荐(0) 编辑

beeline
该文被密码保护。

posted @ 2019-08-29 15:10 锋锋2019 阅读(9) 评论(0) 推荐(0) 编辑

部署入口节点机
摘要:centos7基础安装:https://www.cnblogs.com/hongfeng2019/p/11353249.html 安装JDK:https://www.cnblogs.com/hongfeng2019/p/11270113.html scp -r /opt/cloudera xxx:/ 阅读全文

posted @ 2019-08-26 18:19 锋锋2019 阅读(473) 评论(0) 推荐(0) 编辑

CDH6.2节点环境快速部署(含sqoop)
该文被密码保护。

posted @ 2019-08-26 17:14 锋锋2019 阅读(10) 评论(0) 推荐(0) 编辑

启用yarn的高可用
摘要:选择高可用的主机,新的一台: 点运行结束后,会看到实例会多出一个备用的节点: 官网:yarn的HAhttps://docs.cloudera.com/documentation/enterprise/6/6.2/topics/cdh_hag_rm_ha_config.html#xd_583c10bf 阅读全文

posted @ 2019-08-23 17:16 锋锋2019 阅读(381) 评论(0) 推荐(0) 编辑

启用hdfs的高可用
摘要:cm-HDFS: 选择另外一个节点的做NN, 生产选node3 选择三个节点作journalNode, node2,3,4 填入journalNode的目录/dfs/jn 经过一系列步骤,如果没报错 点继续: 停止所有hive服务: 注: 生产的数据量比较大, 更新花费的时间比较长6-8个小时 重启 阅读全文

posted @ 2019-08-23 17:06 锋锋2019 阅读(517) 评论(0) 推荐(0) 编辑

ansible一键搭建CDH
该文被密码保护。

posted @ 2019-08-22 15:26 锋锋2019 阅读(16) 评论(0) 推荐(0) 编辑

CM金丝雀Canary报错
摘要:参考: https://www.cnblogs.com/barneywill/p/10400788.html CM金丝雀Canary报错 1 HDFS 金丝雀Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。 2 Hiv 阅读全文

posted @ 2019-08-21 18:13 锋锋2019 阅读(687) 评论(0) 推荐(0) 编辑

调优
摘要:见: 笔记 hdfs调优;dfs.socket.timeout 3000 480000dfs.datanode.socket.write.timeout 3000 480000dfs.replication 副本改为2dfs.blocksize 16M 128M 又调回16M ,几百K小文件多dfs 阅读全文

posted @ 2019-08-21 12:19 锋锋2019 阅读(750) 评论(1) 推荐(0) 编辑

CDH日常运维
摘要:1/ 作业有问题: 查log,没log再跑一次查log. 如果没有log的情况,比如hiveserver2挂了,查strr. 2/ 查集群名字 #看hdfs集群的名字,在cdh的hdfs配置中查:nameservice 3/ 添加角色 主机--角色,可以看各节点角色 添加,比如hdfs角色,可以选h 阅读全文

posted @ 2019-08-20 13:03 锋锋2019 阅读(1211) 评论(0) 推荐(0) 编辑

ucloud建新主机
摘要:系统盘默认20G,可调到40不增加费用。需建好主机后关机才能更改。 root密码按统一的设 设好主机名,选好分组 阅读全文

posted @ 2019-08-20 10:11 锋锋2019 阅读(110) 评论(0) 推荐(0) 编辑

导航

点击右上角即可分享
微信分享提示