2018年6月28日
PageRank 算法 Spark实现(Scala + Python)
摘要： 转自: https://plmsmile.github.io/2017/03/13/Spark-PairRDD/ PageRank PageRank的python版本 #!/usr/bin/env python # -*- coding: utf-8 -*- """ PageRank算法 autho 阅读全文
posted @ 2018-06-28 16:34 爱知菜 阅读(61) 评论(0) 推荐(0) 编辑
Spark-on-Yarn集群的搭建
摘要： Spark master/deploy mode说明 spark driver： 运⾏main函数并且新建SparkContext的程序，日志收集。对用户来说，最重要的体验就是当driver是本机时（deploy-mode=client模式），他们可以看到日志。 --deploy-mode: Whe 阅读全文
posted @ 2018-06-28 14:14 爱知菜 阅读(12) 评论(0) 推荐(0) 编辑