gxg123

摘要： 因为我们是在idea当中对hive的数据通过spark sql的形式进行处理的嘛，所以需要加载hive的表以及hive的数据，但是在加载的时候报错；报错信息如下; 看到这里第一反应就是hive的相关包的没有加载了，于是我将他配置在yarn-site.xml的yarn.application.clas 阅读全文

摘要： 当代码能正常提交到spark集群运行的时候，出现下面的错误: 这个种种的迹象都显示是程序的内存溢出造成的，那为什么会内存溢出那，原因是我们队结果集进行collect操作的时候，整的结果作为一个大的集群全部的聚集到了driver 端也就是我们的idea当中。这个时候我们的客户端如果内存不是够大的情况下 阅读全文

摘要： 最近在做将spark的代码提交到远程当中遇到很多坑，各种各样的错误： 我是在window当中使用idea开发将本地的代码提交到远程的spark集群上，没有用到local的模式去做（在实际的生产当中不会用到local的方式去做，所以没考虑） 我是直接run的方式在idea当中提交代码的，这里采用的st 阅读全文