03 2018 档案
摘要:spark mllib 密集向量和稀疏向量 MLlib支持局部向量和矩阵存储在单台服务器,也支持存储于一个或者多个rdd的分布式矩阵 。 局部向量和局部矩阵是用作公共接口的最简单的数据模型。 基本的线性代数运算由Breeze提供。 在监督学习中使用的训练示例在MLlib中称为“标记点”。 因此,向量
阅读全文
摘要:【图数据结构的遍历】java实现广度优先和深度优先遍历 宽度优先搜索(BFS)遍历图需要使用队列queue数据结构; 深度优先搜索(DFS, Depth First Search)的实现 需要使用到栈stack数据结构。 java中虽然有Queue接口,单java并没有给出具体的队列实现类,而Jav
阅读全文
摘要:使用JAVA API 解析ORC File orc File 的解析过程中,使用FileInputFormat的getSplits(conf, 1)函数, 然后使用 RecordReaderreader = in.getRecordReader(splits[0], conf, Reporter.N
阅读全文