2016年3月18日
MapReduce性能调优记录
摘要： MapReduce原理要知道怎么对MapReduce作业进行调优前提条件是需要对Map-Reduce的过程了然于胸。 Map-Reduce运行原理图： Map Side1.从磁盘读取数据并分片默认每个block对应一个分片，一个map task2.进行map处理运行自定义的map业... 阅读全文
posted @ 2016-03-18 13:54 蒋源德 阅读(722) 评论(0) 推荐(0) 编辑
MapReduce开发技巧
摘要： 数据类型的选择自定义数据类型参考：Hadoop提交作业自定义排序和分组MapWritable/SortedMapWritableHadoop中可传输的Map集合，和Java中的Map用法差不多，但是可以用与mapper和reducer之间的数据传输Map输出不同类型的Value使用... 阅读全文
posted @ 2016-03-18 13:53 蒋源德 阅读(376) 评论(0) 推荐(0) 编辑
大数据平台生产环境部署指南
摘要： 总结一下在生产环境部署Hadoop+Spark+HBase+Hue等产品遇到的问题、提高效率的方法和相关的配置。集群规划假设现在生产环境的信息如下： 服务器数量：6 操作系统：Centos7 Master节点数：2 Zookeeper节点数：3 Slave节点数：4 ... 阅读全文
posted @ 2016-03-18 13:44 蒋源德 阅读(1792) 评论(0) 推荐(1) 编辑