2019年1月9日
spark 通过keytab 获取认证
摘要： /usr/local/spark-2.3.0-bin-2.6.0-cdh5.8.0/bin/spark-submit \ --keytab /home/jj/tl.keytab \ --principal vf@FC.COM \ --class com.bb.sailer.engine_client.JobAa9d67c8c46843349043610b6d7b21dd \ --master ... 阅读全文
posted @ 2019-01-09 15:39 生心无住 阅读(3284) 评论(0) 推荐(0) 编辑
spark 资源动态分配
摘要： 'spark.shuffle.service.enabled': 'true', 'spark.dynamicAllocation.enabled': 'false', 'spark.dynamicAllocation.initialExecutors': 50, 'spark.dynamicAllocation.minExecutors': 1, 'spark.dynamicAllocatio... 阅读全文
posted @ 2019-01-09 14:26 生心无住 阅读(267) 评论(0) 推荐(0) 编辑
scala笔记
摘要： 1.创建Array // array 创建方法1 val arr = new Array[String](3) arr(0) = "1" arr(0) = "x" //底层调用 def update(i: Int, x: T) { throw new Error() } arr(1) = "1" a 阅读全文
posted @ 2019-01-09 09:33 生心无住 阅读(534) 评论(0) 推荐(0) 编辑