2018年4月9日
clouder-manager安装cdh
摘要： 1--给裸机装系统centos7 2--配置静态IP： vim /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO=static ONBOOT=yes GATEWAY=192.168.1.2 IPADDR=192.168.1.101 NETMAS 阅读全文
posted @ 2018-04-09 10:54 谦如尘埃风过隙 阅读(903) 评论(0) 推荐(0) 编辑
spark作业性能调优
摘要： spark作业性能调优 优化的目标 一、开发调优： RDD lineage，也就是“RDD的血缘关系链” 开发RDD lineage极其冗长的Spark作业时，创建多个代表相同数据的RDD，进而增加了作业的性能开销。 比如说，有一个RDD的数据格式是key-value类型的，另一个是单value类型 阅读全文
posted @ 2018-04-09 07:14 谦如尘埃风过隙 阅读(1397) 评论(0) 推荐(0) 编辑