上一页 1 ··· 26 27 28 29 30 31 32 33 34 ··· 52 下一页
摘要: 1、概念、架构 2、配置文件示例、部署步骤 阅读全文
posted @ 2016-09-09 11:43 junneyang 阅读(2089) 评论(0) 推荐(0) 编辑
摘要: Zookeeper部署笔记 阅读全文
posted @ 2016-09-09 10:17 junneyang 阅读(268) 评论(0) 推荐(0) 编辑
摘要: Hadoop HA 机制架构、要点、原理: 需要的机器(规划): 至少三台机器 阅读全文
posted @ 2016-09-09 10:15 junneyang 阅读(729) 评论(0) 推荐(0) 编辑
摘要: ZK实际应用场景、实例: 阅读全文
posted @ 2016-09-09 10:10 junneyang 阅读(168) 评论(0) 推荐(0) 编辑
摘要: Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Z 阅读全文
posted @ 2016-09-08 16:34 junneyang 阅读(269) 评论(0) 推荐(0) 编辑
摘要: 参考资料: http://www.cnblogs.com/shanyou/p/4695131.html http://blog.csdn.net/viewcode/article/details/45915179 http://www.oschina.net/p/consul Zookeeper V 阅读全文
posted @ 2016-09-08 16:17 junneyang 阅读(781) 评论(0) 推荐(1) 编辑
摘要: Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎。该框架(如图 1 所示)使用 Oozie 协调器促进了相互依赖的重复工作之间的协调,您可以使用预定的时间或数据可用性来触发 Apache Oozie。您可以使用 Oozie bundle 系统提交或维护一组协调应用程序。作为本 阅读全文
posted @ 2016-09-08 10:50 junneyang 阅读(723) 评论(0) 推荐(0) 编辑
摘要: 1、概念、方案 2、代码示例 InverseIndexOne InverseIndexTwo 参考资料: How to check if processing the last item in an Iterator?:http://stackoverflow.com/questions/96339 阅读全文
posted @ 2016-09-08 10:28 junneyang 阅读(924) 评论(0) 推荐(0) 编辑
摘要: 1、果断先上结论 1.如果想增加map个数,则设置mapred.map.tasks 为一个较大的值。 2.如果想减小map个数,则设置mapred.min.split.size 为一个较大的值。 3.如果输入中有很多小文件,依然想减少map个数,则需要将小文件merger为大文件,然后使用准则2。 阅读全文
posted @ 2016-09-07 18:17 junneyang 阅读(11591) 评论(1) 推荐(3) 编辑
摘要: 1、概念 2、Split机制 3、MR Shuffle过程 4、MR中REDUCE与MAP写作过程 5、MR全貌 阅读全文
posted @ 2016-09-07 18:03 junneyang 阅读(4499) 评论(0) 推荐(1) 编辑
上一页 1 ··· 26 27 28 29 30 31 32 33 34 ··· 52 下一页