IDEA上运行Spark时,关闭控制台的INFO信息
当在本地运行 spark任务时,控制台会出现很多红色的INFO信息,严重干扰视觉,如下所示:
解决办法,点击下载https://spark.apache.org/downloads.html spark,选择自己maven中引入的spark版本,Hadoop版本应该可以随便选择(我是本地安装了Hadoop,所以选择了安装的Hadoop版本):
点击进入下载页面,选择HTTP下载安装包:
解压后,选择 conf 文件夹下的 log4j.properties.template ,将其复制到IDEA项目 resources 目录中,改名为 log4j.properties:
对 log4j.properties 做修改如下(INFO -> ERROR):
改为:
再运行spark程序,就不会出现 INFO信息了: