代码改变世界

随笔档案-2022年07月

使用IDEA指定main函数,打出带MANIFEST.MF文件的Jar包

2022-07-15 19:16 by DataBases, 903 阅读, 收藏, 编辑
摘要: [hadoop@node01 jars]$ java -jar ShortColorDev-1.0.jar no main manifest attribute, in ShortColorDev-1.0.jar [hadoop@node01 jars]$ java -jar ShortColorD 阅读全文

Spark动态资源分配

2022-07-08 09:26 by DataBases, 504 阅读, 收藏, 编辑
摘要: spark动态资源分配(DRA)其实也就是说的单个应用(一个Spark application)持有的executor数目支持动态增减,最小动态调整的单元为executor,动态调整动是根据spark应用的实际负载情况来决定。Spark On Yarn DRA spark-submit --clas 阅读全文
点击右上角即可分享
微信分享提示