2017年2月24日
hadoop: Shuffle过程详解 (转载)
摘要： 原文地址：http://langyu.iteye.com/blog/992916 另一篇博文：http://www.cnblogs.com/gwgyk/p/3997849.html Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必 阅读全文
posted @ 2017-02-24 15:30 peak-c 阅读(229) 评论(0) 推荐(0) 编辑
hadoop 启动or运行mr错误
摘要： hadoop 错误：Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured. hadoop 错误：java.lang 阅读全文
posted @ 2017-02-24 15:09 peak-c 阅读(426) 评论(0) 推荐(0) 编辑
Storm: 遇到问题总结
摘要： 1.没有ack : kafkaspout id 重复导致每次读最新没有数据。 2.由于storm提供的读取kafka的enternal工具存在bug，导致重复读取数据，致使数据不准确。storm bug标号:[storm-643] (0.9.5，之后已修复) 3.storm-netty 连接失败导致 阅读全文
posted @ 2017-02-24 15:09 peak-c 阅读(194) 评论(0) 推荐(0) 编辑
Storm: 性能优化 (转载)
摘要： Storm 性能优化 原文地址：http://www.jianshu.com/p/f645eb7944b0 目录 场景假设 调优步骤和方法 Storm 的部分特性 Storm 并行度 Storm 消息机制 Storm UI 解析 性能优化 场景假设 在介绍 Storm 的性能调优方法之前，假设一个场 阅读全文
posted @ 2017-02-24 11:53 peak-c 阅读(6178) 评论(1) 推荐(6) 编辑
git 使用规范
摘要： git使用资料： https://github.com/peak-c/my-git 公司内部使用开发规范： 一. 代码库介绍 个人开发库(git@gitlab.adrd.sohuno.com:spero/xxx_spero.git)master：个人主线，始终与发布库的master保持同步。feat 阅读全文
posted @ 2017-02-24 11:38 peak-c 阅读(344) 评论(0) 推荐(0) 编辑