摘要: 监控spark应用的方式比较多,比如spark on yarn可以通过yarnClient api监控。这里介绍的是spark内置的一种监控方式 如果是sparkStreaming,对应的则是streamingListener package cn.com.kong; import org.apac 阅读全文
posted @ 2020-01-17 13:50 sw_kong 阅读(3347) 评论(0) 推荐(0) 编辑
摘要: /** * Returns a new Dataset that has exactly `numPartitions` partitions, when the fewer partitions * are requested. If a larger number of partitions i 阅读全文
posted @ 2020-01-17 09:50 sw_kong 阅读(678) 评论(0) 推荐(1) 编辑