随笔分类 -  Spark

Spark应用程序--num-executors，--execuor-cores和--executor-memory参数合理分配
摘要：https://blog.csdn.net/yolohohohoho/article/details/88056381 阅读全文
posted @ 2021-11-24 15:01 sunshineD 阅读(60) 评论(0) 推荐(0) 编辑
Spark Streaming的Batch Duration优化
摘要：Spark Streaming 是微批处理。 SparkConf sparkConf = new SparkConf().setAppName("SparkStreaming").setMaster("local[*]"); JavaStreamingContext javaStreamingCon 阅读全文
posted @ 2021-10-20 10:45 sunshineD 阅读(239) 评论(0) 推荐(0) 编辑
Spark Streaming WebUI监控，查看Streaming Statistics，Batch（job stage task）
摘要：https://www.jianshu.com/p/506654cce9dc 阅读全文
posted @ 2021-10-19 11:10 sunshineD 阅读(90) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示