2019年2月25日
摘要: spark架构原理 原理图: 创建RDD 一是使用程序中的集合创建RDD,主要用于进行测试,可以实际部署到集群运行之前, 自己使用集合构造测试数据,来测试后面的spark应用的流程; 二是使用本地文件创建RDD,主要用于的场景为在本地临时性地处理一些存储了大量数据的文件; 三是使用HDFS文件创建R 阅读全文
posted @ 2019-02-25 14:45 章鱼哥儿 阅读(592) 评论(0) 推荐(0) 编辑