2018年2月23日
摘要: 1:什么是Spark的RDD??? 2:RDD的属性: 3:创建RDD: 4:RDD编程API: 4.1:Transformation: RDD中的所有转换都是延迟加载的,也就是说,它们并不会直接计算结果。相反的,它们只是记住这些应用到基础数据集(例如一个文件)上的转换动作。只有当发生一个要求返回结 阅读全文
posted @ 2018-02-23 18:25 别先生 阅读(1589) 评论(0) 推荐(0) 编辑
摘要: 1:spark shell仅在测试和验证我们的程序时使用的较多,在生产环境中,通常会在IDE中编制程序,然后打成jar包,然后提交到集群,最常用的是创建一个Maven项目,利用Maven来管理jar包的依赖。 2:配置Maven的pom.xml: <?xml version="1.0" encodi 阅读全文
posted @ 2018-02-23 18:03 别先生 阅读(16146) 评论(0) 推荐(1) 编辑