会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
junneyang 的博客
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
26
27
28
29
30
31
32
33
34
···
52
下一页
2016年9月9日
【Hadoop】Hadoop HA 部署 详细过程(架构、机器规划、配置文件、部署步骤)
摘要: 1、概念、架构 2、配置文件示例、部署步骤
阅读全文
posted @ 2016-09-09 11:43 junneyang
阅读(2089)
评论(0)
推荐(0)
编辑
【Zookeeper】Zookeeper部署笔记
摘要: Zookeeper部署笔记
阅读全文
posted @ 2016-09-09 10:17 junneyang
阅读(268)
评论(0)
推荐(0)
编辑
【Hadoop】Hadoop HA机制要点
摘要: Hadoop HA 机制架构、要点、原理: 需要的机器(规划): 至少三台机器
阅读全文
posted @ 2016-09-09 10:15 junneyang
阅读(729)
评论(0)
推荐(0)
编辑
【Zookeeper】Zookeeper 和他的小伙伴们
摘要: ZK实际应用场景、实例:
阅读全文
posted @ 2016-09-09 10:10 junneyang
阅读(168)
评论(0)
推荐(0)
编辑
2016年9月8日
【Zookeeper】分布式服务框架 Zookeeper -- 管理分布式环境中的数据
摘要: Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Z
阅读全文
posted @ 2016-09-08 16:34 junneyang
阅读(269)
评论(0)
推荐(0)
编辑
【Consul】 分布式环境中的服务注册和发现利器
摘要: 参考资料: http://www.cnblogs.com/shanyou/p/4695131.html http://blog.csdn.net/viewcode/article/details/45915179 http://www.oschina.net/p/consul Zookeeper V
阅读全文
posted @ 2016-09-08 16:17 junneyang
阅读(781)
评论(0)
推荐(1)
编辑
【Hadoop】Hadoop MR Job工作流引擎
摘要: Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎。该框架(如图 1 所示)使用 Oozie 协调器促进了相互依赖的重复工作之间的协调,您可以使用预定的时间或数据可用性来触发 Apache Oozie。您可以使用 Oozie bundle 系统提交或维护一组协调应用程序。作为本
阅读全文
posted @ 2016-09-08 10:50 junneyang
阅读(723)
评论(0)
推荐(0)
编辑
【Hadoop】Hadoop MR 如何实现倒排索引算法?
摘要: 1、概念、方案 2、代码示例 InverseIndexOne InverseIndexTwo 参考资料: How to check if processing the last item in an Iterator?:http://stackoverflow.com/questions/96339
阅读全文
posted @ 2016-09-08 10:28 junneyang
阅读(924)
评论(0)
推荐(0)
编辑
2016年9月7日
【Hadoop】三句话告诉你 mapreduce 中MAP进程的数量怎么控制?
摘要: 1、果断先上结论 1.如果想增加map个数,则设置mapred.map.tasks 为一个较大的值。 2.如果想减小map个数,则设置mapred.min.split.size 为一个较大的值。 3.如果输入中有很多小文件,依然想减少map个数,则需要将小文件merger为大文件,然后使用准则2。
阅读全文
posted @ 2016-09-07 18:17 junneyang
阅读(11591)
评论(1)
推荐(3)
编辑
【Hadoop】MR 切片机制 & MR全流程
摘要: 1、概念 2、Split机制 3、MR Shuffle过程 4、MR中REDUCE与MAP写作过程 5、MR全貌
阅读全文
posted @ 2016-09-07 18:03 junneyang
阅读(4499)
评论(0)
推荐(1)
编辑
上一页
1
···
26
27
28
29
30
31
32
33
34
···
52
下一页
公告