2018年9月1日
Apache Spark 内存管理详解
摘要： 文章来自：Spark学习之路 （十一）SparkCore的调优之Spark内存模型 阅读全文
posted @ 2018-09-01 20:01 生心无住 阅读(38) 评论(0) 推荐(0) 编辑
spark 读写text,csv,json,parquet
摘要： 以下代码演示的是spark读取 text，csv，json，parquet格式的file 为dataframe， 将dataframe保存为对应格式的文件 上述将dataframe保存为text为也采取了csv格式，若要保存为text，dataframe中只能有一个String类型的字段，但是一般d 阅读全文
posted @ 2018-09-01 14:30 生心无住 阅读(7926) 评论(1) 推荐(0) 编辑