摘要: 1 背景 分布式理论基础(一)一致性及解决一致性的两种方式:2PC和3PC 中介绍了一致性,Paxos协议在节点宕机恢复、消息无序或丢失、网络分化的场景下能保证决议的一致性,是被讨论最广泛的一致性协议。 2 Basic Paxos 作为解决一致性问题的协议,Paxos的核心是节点间如何确定并只确定一 阅读全文
posted @ 2017-12-14 22:40 强迫疒 阅读(296) 评论(0) 推荐(0) 编辑
摘要: 1 背景 在测试spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是很难的,因为作业是提交到yarn的集群上,所以,去yarn集群上看日志是很麻烦的,但是又需要看print的信息,方便调试或者别的目的。 Spark日志确切的存放路径和 阅读全文
posted @ 2017-12-14 22:11 强迫疒 阅读(2559) 评论(0) 推荐(0) 编辑