摘要:
1、资源参数调优 1.1 运行时架构 1.1.1 Client : 客户端进程,负责提交作业 1.1.2 Driver/SC : 运行应用程序/业务代码的main()函数并且创建SparkContext,其中创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由S 阅读全文
摘要:
1、JVM调优 1.1 内存调优 一般安装好的HBase集群 默认配置:Master和RegionServer 1G内存,而Memstore默认占用0.4,也就是400M。 export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xms2g -Xmx2g" exp 阅读全文