摘要: 1、资源参数调优 1.1 运行时架构 1.1.1 Client : 客户端进程,负责提交作业 1.1.2 Driver/SC : 运行应用程序/业务代码的main()函数并且创建SparkContext,其中创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由S 阅读全文
posted @ 2020-04-02 20:42 hyunbar 阅读(582) 评论(0) 推荐(0) 编辑
摘要: 1、JVM调优 1.1 内存调优 一般安装好的HBase集群 默认配置:Master和RegionServer 1G内存,而Memstore默认占用0.4,也就是400M。 export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xms2g -Xmx2g" exp 阅读全文
posted @ 2020-04-02 15:07 hyunbar 阅读(417) 评论(1) 推荐(0) 编辑