摘要:
1:什么是Spark的RDD??? 2:RDD的属性: 3:创建RDD: 4:RDD编程API: 4.1:Transformation: RDD中的所有转换都是延迟加载的,也就是说,它们并不会直接计算结果。相反的,它们只是记住这些应用到基础数据集(例如一个文件)上的转换动作。只有当发生一个要求返回结 阅读全文
摘要:
1:spark shell仅在测试和验证我们的程序时使用的较多,在生产环境中,通常会在IDE中编制程序,然后打成jar包,然后提交到集群,最常用的是创建一个Maven项目,利用Maven来管理jar包的依赖。 2:配置Maven的pom.xml: <?xml version="1.0" encodi 阅读全文