随笔分类 - 算法
算法基础知识、基础算法、机器学习算法、深度学习算法、强化学习算法
摘要：一.相关性分析 1.简介 计算两个系列数据之间的相关性是统计中的常见操作。在spark.ml中提供了很多算法用来计算两两的相关性。目前支持的相关性算法是Pearson和Spearman。Correlation使用指定的方法计算输入数据集的相关矩阵。输出是一个DataFrame，其中包含向量列的相关矩
阅读全文
摘要：一.分区策略 GraphX采用顶点分割的方式进行分布式图分区。GraphX不会沿着边划分图形，而是沿着顶点划分图形，这可以减少通信和存储的开销。从逻辑上讲，这对应于为机器分配边并允许顶点跨越多台机器。分配边的方法取决于分区策略PartitionStrategy并且对各种启发式方法进行了一些折中。用户
阅读全文
摘要：一.算法 非形式地说，算法【algorithm】就是任何定义的计算过程，该过程取某个值或值的集合作为输入并产生某个值或值的集合作为输出。这样算法就是把输入转换成输出的计算步骤的一个序列。 我们也可以把算法看成是用于求解计算问题的工具。一般来说，问题陈述说明了期望的输入/输出关系。算法则描述一个特定的
阅读全文
