IDEA上运行Spark时,关闭控制台的INFO信息

当在本地运行 spark任务时,控制台会出现很多红色的INFO信息,严重干扰视觉,如下所示:

 

 

解决办法,点击下载https://spark.apache.org/downloads.html spark,选择自己maven中引入的spark版本,Hadoop版本应该可以随便选择(我是本地安装了Hadoop,所以选择了安装的Hadoop版本):

 

 点击进入下载页面,选择HTTP下载安装包:

 

解压后,选择 conf 文件夹下的 log4j.properties.template ,将其复制到IDEA项目 resources 目录中,改名为 log4j.properties:

 

对 log4j.properties 做修改如下(INFO -> ERROR):

 

改为:

 

 

再运行spark程序,就不会出现 INFO信息了:

 

posted @ 2021-12-17 16:28  星海寻梦233  阅读(949)  评论(0编辑  收藏  举报