摘要: 关于MR的工作原理不做过多叙述,本文将对MapReduce的实例WordCount(单词计数程序)做实践,从而理解MapReduce的工作机制。 WordCount: 1.应用场景,在大量文件中存储了单词,单词之间用空格分隔 2.类似场景:搜索引擎中,统计最流行的N个搜索词,统计搜索词频率,帮助优化 阅读全文
posted @ 2017-03-19 12:08 孟凡柱的专栏 阅读(2797) 评论(0) 推荐(0) 编辑
摘要: maven仓库用过的人都知道,国内有多么的悲催。还好有比较好用的镜像可以使用,尽快记录下来。速度提升100倍。 http://maven.aliyun.com/nexus/#view-repositories;public~browsestorage 在maven的settings.xml 文件里配 阅读全文
posted @ 2017-03-19 10:19 孟凡柱的专栏 阅读(308) 评论(0) 推荐(0) 编辑
摘要: 之前介绍过关于HBase 0.9.8版本的部署及使用,本篇介绍下最新版本HBase1.2.4的部署及使用,有部分区别,详见如下: 1. 环境准备: 1.需要在Hadoop[hadoop-2.7.3] 启动正常情况下安装,hadoop安装可参考LZ的文章 大数据系列之Hadoop分布式集群部署 2. 阅读全文
posted @ 2017-03-19 08:58 孟凡柱的专栏 阅读(2545) 评论(0) 推荐(0) 编辑