摘要: Hadoop MapReduce 是三者中出现最早,知名度最大的分布式计算框架,最早由 Google Lab 开发,使用者遍布全球(Hadoop PoweredBy);主要适用于大批量的集群任务,由于是批量执行,故时效性偏低,原生支持 Java 语言开发 MapReduce ,其它语言需要使用到 H 阅读全文
posted @ 2016-03-26 18:38 风雪夜归猿 阅读(1474) 评论(0) 推荐(0) 编辑
摘要: 负载均衡的作用就是把请求均匀的分配给各个节点,它是一种动态均衡,通过一些工具实时地分析数据包,掌握网络中的数据流量状况,把请求理分配出去。对于不同的应用环境(如电子商务网站,它的计算负荷大;再如网络数据库应用,读写频繁,服务器的存储子系统系统面临很大压力;再如视频服务应用,数据传输量大,网络接口负担 阅读全文
posted @ 2016-03-26 18:34 风雪夜归猿 阅读(233) 评论(0) 推荐(0) 编辑
摘要: Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 Zookeeper 从设计模式角度来看,是一个基于观察者模式设计的分布式服务管理框架,它负责存 阅读全文
posted @ 2016-03-26 17:30 风雪夜归猿 阅读(233) 评论(0) 推荐(0) 编辑
摘要: zookeeper是hadoop下面的一个子项目, 用来协调跟hadoop相关的一些分布式的框架, 如hadoop, hive, pig等, 其实他们都是动物, 所以叫zookeeper ——“动物园管理员”。动物园里当然有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物,而 阅读全文
posted @ 2016-03-26 09:43 风雪夜归猿 阅读(10388) 评论(3) 推荐(1) 编辑
摘要: 本文转载自http://blog.csdn.net/mayp1/article/details/50969112 和http://dongxicheng.org/search-engine/log-systems/ 随着互联网行业的发展和IT技术在行业内的广泛应用,许多互联网企业的服务器每天产生海量 阅读全文
posted @ 2016-03-26 09:06 风雪夜归猿 阅读(7171) 评论(0) 推荐(0) 编辑