疯狂摇头的青蛙

摘要： 经常一起购买的商品 scala> var file=sc.textFile("/user/ghj/togeterBought") file: org.apache.spark.rdd.RDD[String] = /user/ghj/togeterBought MapPartitionsRDD[28] 阅读全文

摘要： maven项目添加pom依赖后，一直不能正常导入所依赖的jar包，并且报错“ Auto build completed with errors” 阅读全文

摘要： aggregateByKey与aggregate类似，都是进行两次聚合，不同的是后者只对分区有效，前者对分区中key进一步细分 def aggregateByKey[U: ClassTag](zeroValue: U, partitioner: Partitioner) (seqOp: (U, V) 阅读全文

摘要： aggregate函数将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致。 def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U 阅读全文

摘要： C/Sc:client s:server就是客户端与服务器结构，常见的软件系统结构体系，通过将任务合理分配到client端和server端，降低系统的通讯资源使用，充分利用两段硬件环境的优势，架构的界面和操作可以很丰富，安全性能容易保证，并且由于只有一层交互，响应速度较快。但是，缺点是适用面较窄，通 阅读全文