摘要: 进入vi的命令 vi filename :打开或新建文件,并将光标置于第一行首 vi n filename :打开文件,并将光标置于第n行首 vi filename :打开文件,并将光标置于一行首 vi /pattern filename:打开文件,并将光标置于第一个与pattern匹配的串处 vi 阅读全文
posted @ 2017-02-28 15:55 DarrenChan陈驰 阅读(203) 评论(0) 推荐(0) 编辑
摘要: Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。 其工作原理示意图如下: 1.为什么使用Zookeeper » 大部分分布式应用需要一个主控、协调器或控制器来 阅读全文
posted @ 2017-02-28 15:23 DarrenChan陈驰 阅读(338) 评论(0) 推荐(0) 编辑
摘要: 需求: 以上三个文件,用MapReduce进行处理,最终输出以下格式: hello c.txt-->2 b.txt-->2 a.txt-->3jerry c.txt-->1 b.txt-->3 a.txt-->1tom c.txt-->1 b.txt-->1 a.txt-->2 思考: 我们需要进行 阅读全文
posted @ 2017-02-28 15:22 DarrenChan陈驰 阅读(427) 评论(0) 推荐(0) 编辑
摘要: 一个map task处理一个切片Split,切片是一个范围的数据,和blocksize大小没有必然关系。 1.每个map有一个环形内存缓冲区,用于存储任务的输出。默认大小100MB(io.sort.mb属性),一旦达到阀值0.8(io.sort.spill.percent),一个后台线程把内容写到( 阅读全文
posted @ 2017-02-28 00:25 DarrenChan陈驰 阅读(1060) 评论(4) 推荐(0) 编辑
Live2D