摘要： 用户自定义函数 UDF函数 在操作关系型数据库时，Spark支持大部分常用SQL函数，而有些函数Spark官方并没有支持，需要根据业务自行创建。这些函数成为用户自定义函数(user defined function, UDF)。 接受一个参数，返回一个结果。即一进一出的函数。 实例 实现一个UDF， 阅读全文

摘要： Spark读写不同个数数据 SPark读取数据 读取文本文件格式 val inputTextFile = sc.textFile(path) 可以通过/*.txt读取多个文件。 读取JSON文件格式 和文本文件读取函数一样 val inputJsonFIle = sc.textFIle("path/ 阅读全文

摘要： DataStream编程模型 DataStream API主要可以分为三个部分，DataSource模块、Transformation模块以及DataSink模块，其中Sources模块主要定义了数据接入功能，主要是将各种外部数据接入至Flink系统中，并将数据转换成对应的DataStream数据集 阅读全文

摘要： Flink初识 Flink同时支持 高吞吐、低延迟和exactly-once语义的实时计算能力，同时提供了基于流式计算引擎处理批量数据的计算能力，真正意义上实现了批流统一。 使用Hadoop MapReduce进行批量数据的处理，使用Apache Storm进行实时数据的处理。这种架构在一定程度上解 阅读全文

摘要： LeetCode上的三道关于树的遍历题目： 144二叉树的前序遍历 94二叉树的中序遍历 145二叉树的后序遍历 递归解法 递归是最容易的。递归是函数自身调用自身，涉及到保护现场（变量入栈，记录地址等），时间和空间开销较大，而这操作都是在栈上，调用层级太多很容易溢出。 其与迭代最大的区别就是是否会栈 阅读全文

摘要： 《Matrix Factorization Techniques for Context-Aware Collaborative Filtering Recommender System: A Survey》，2018年，在dblp可下载。 摘要 协同过滤推荐系统通过学习过去用户项目关系来预测用户在 阅读全文

摘要： 于2019年6月发表于计算机应用研究。作者，西南交通大学的曹占伟。 摘要 传统协同过滤推荐算法存在冷启动、数据稀疏以及相似度度量准确性的问题（这里作者指出还有一个相似度度量准确性的问题，普遍是冷启动和数据稀疏）。 基于LDA主题模型对文本隐式主题挖掘很有效（我把这个理解为挖掘上下文信息以处理冷启动） 阅读全文

摘要： 推荐系统中的个性化推荐一定要有用户模型或用户记录。需要获取用户信息，有两种获取途径显式获取和隐式获取。 协同过滤（CF，Collaborative Filtering） 协同过滤推荐方法的主要思想是，利用已有用户群过去的行为或意见预测当前用户最可能喜欢哪些东西或对哪些东西感兴趣。 输入数据只有用户- 阅读全文

摘要： 2017年发表在计算机工程于应用。 摘要 总结和分析了传统机器学习算法在海量数据场景霞出现的若干问题，基于当代并行机分类回顾了国内外并行机器学习算法的研究现状，并归纳总结了并行机器学习算法在各种基础体系下存在的问题。 引言 传统机器学习算法在海量数据下计算代价高、延迟性高、无法处理所有数据，从根本上 阅读全文

摘要： 2019年3月发表于计算机科学。可在知网下载。 本文内容 摘要 分布式机器学习的核心思想“分而治之”。分布式机器学习是机器学习的研究领域之一。分布式机器学习的主流平台有Spark、MXNet、Petuum、TensorFlow及PyTorch。本文对这些平台深入总结，分析对比其特性。其次，从数据并行 阅读全文