博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2022年2月18日

摘要: 最近发现,在执行pyspark任务时,对pythonFunction的CPU使用率进行限制存在问题,究其根本,还是sparkConf的参数存在问题。 梳理了下spark启动参数中关于core的设置问题 执行spark-submit -h 得到spark启动参数的说明,截取部分关于core的说明 Cl 阅读全文

posted @ 2022-02-18 15:54 Antel 阅读(442) 评论(0) 推荐(0) 编辑