spark常见错误【持续更新】

错误1.错误: 找不到或无法加载主类 idea、scala代码

idea 导入的scala工程，编写代码后报该错误。

原因：\src\main\scala 包路径下没有将scala这个包设置成Sources root

解决：设置scala的文件夹属性

 

---

 错误2.

ERROR scheduler.LiveListenerBus: Listener SQLListener threw an exception java.lang.NullPointerException

WARN spark.ExecutorAllocationManager: No stages are running, but numRunningTasks != 0

该错误是使用sparksql的时候报的错，原因是我的数据量太大导致的

解决：适当的增加 --driver-memory 的大小即可