随笔分类 - Hadoop&Spark&数据处理
摘要：要学习分布式以及数据分析、机器学习之类的，觉得可以通过一些实际的编码项目入手。最近Spark很火，也有不少招聘需要Spark，而且与传统的Hadoop相比，Spark貌似有一些优势。所以就以Spark来学习下。 安装部署等可以参考之前的文章：http://www.cnblogs.com/charle
阅读全文
摘要：接上一篇Kafka的安装与实验： http://www.cnblogs.com/charlesblc/p/6046023.html 还有再上一篇Flume的安装与实验： http://www.cnblogs.com/charlesblc/p/6046023.html Storm的安装可以参考这篇：
阅读全文
摘要：接上面一篇文章： http://www.cnblogs.com/charlesblc/p/6038112.html 主要参考这篇文章： http://www.open-open.com/lib/view/open1435884136903.html 还有之前一直在跟的这篇文章： http://blo
阅读全文
摘要：正在学习这篇文章： http://blog.csdn.net/ymh198816/article/details/51998085 和工作中接触的电商、订单、分析，可以结合起来。 开宗明义，这幅图片： Strom是一个非常快的实时计算框架，至于快到什么程度呢？ 准备实际写一个实时分析系统。不然纸上得
阅读全文
摘要：http://harry.me/blog/2014/12/27/neat-algorithms-paxos/ 这篇文章里面有用JS写的Paxos过程，有助理解。但是没怎么仔细看，没时间。 这篇文章用两军问题来讨论Paxos，也很有意思： http://iunknown.iteye.com/blog/
阅读全文
摘要：Paxos，一言以蔽之，我们需要一种提交协议来确保分布式系统中的全局操作即使是在发生故障的情况下也能保证正确性。 跟拜占庭将军问题是不同的问题，虽然拜占庭也是Lamport提出的。拜占庭里面有叛徒，有坏人，而Paxos里面都是好人，都是期望达成一致的，只是有时候有故障或者有同步问题。要说有联系，那就
阅读全文
摘要：之前的文章已经介绍了搭建单机Hadoop, HBase, Hive, Spark的方式：link 现在希望在单机的基础上，加一个slave。 首先需要加上信任关系，加信任关系的方式，见前一篇文章：link 把05和06这两台机器，分别和对方添加上信任关系。 把05上面的目录 /home/work/d
阅读全文
摘要：学习参考这篇文章： http://www.shareditor.com/blogshow/?blogId=96 机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统， hadoop用于分布式存储和map-reduce计算， spark用于分布式机器学习， hive是分布式数据库， hbase
阅读全文
