2017年6月28日
Spark 把RDD数据保存到hdfs单个文件中，而不是目录
摘要： 相比于Hadoop，Spark在数据的处理方面更加灵活方便。然而在最近的使用中遇到了一点小麻烦：Spark保存文件的的函数（如saveAsTextFile）在保存数据时都需要新建一个目录，然后在这个目录下分块保存文件。如果我们想在原有的目录下增加一个文件（而不是增加一个目录） 把分区设置成1个 结果 阅读全文
posted @ 2017-06-28 17:47 亢奋的小马哥 阅读(4551) 评论(0) 推荐(0) 编辑