个人博客转至:tybai.com

无聊就想打码,打码使我快乐


Fork me on GitHub

scala中spark运行内存不足

bash spark-submit 在spark上跑代码的时候出现错误:

ERROR executor.Executor: Exception in task 9.0 in stage 416.0 (TID 18363)
java.lang.OutOfMemoryError: Java heap space

发现其原因竟然是运行的时候默认的内存不足以支撑海量数据,可以用 bash spark-submit --help 中查看到自己代码的运行内存,即:

--driver-memory MEM         Memory for driver (e.g. 1000M, 2G) (Default: 1024M)

本机默认为1G的内存运行程序,所以我改成8G内存运行:

bash spark-submit --driver-memory 8G --class MF字段 你的jar名字.jar

具体运行请看:

scala打包jar并在Linux下运行

查看 Linux 的内存命令为:

cat /proc/meminfo |grep MemTotal or top

posted on 2017-04-18 08:48  TTyb  阅读(1697)  评论(1编辑  收藏  举报

导航


不用多久

我就会升职加薪

当上总经理

出任CEO

迎娶白富美

走上人生巅峰

Pulpit rock