摘要:
协同过滤常用于推荐系统,这项技术旨在填补 丢失的user-item关联矩阵 的条目,spark.ml目前支持基于模型的协同过滤(用一些丢失条目的潜在因素在描述用户和产品)。spark.ml使用ALS(交替最小二乘法)去学习这些潜在因素。在spark.ml中的实现有以下参数: numBlocks:块的 阅读全文
摘要:
综述: 在高层中,每个spark应用由一个运行用户主函数的driver program和执行各种集群上的parallel operations所组成。spark最主要的概念:RDD弹性分布式数据集,它是一个跨越“可并行操作集群”所有节点的基本分区的集合。RDDs可被多种方式创建:hadoop文件系统 阅读全文