ERROR SparkContext: Error initializing SparkContext.

错误详情:egalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.

1、第一种修改方式:

在Run --> Edit Configurations --> VM options里面设置-Xmx

修改超过512M就行,格式:-Xmx1024m

2、第二种修改方式(数字是字节需要换算)

val conf = new SparkConf()

conf.set("spark.testing.memory", "2147480000")

posted @ 2022-05-29 08:31  田领群  阅读(607)  评论(0编辑  收藏  举报