随笔分类 - 大牛系列
摘要:简明介绍JAVA中的垃圾回收机制。需要知道更多信息请私信博主。
阅读全文
摘要:Hadoop系列性能部分完结。其它的部分发布时间待定。Hadoop系列将不再一日一篇,开始不定期发布。
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解以减少map开销为目的的自定义的连接框架。(这是整理稿。原来和另一篇合并在一起,现在单列出来。)
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解如何在Hadoop中编译安装配置压缩格式LZOP。
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的文件处理。介绍如何有效地进行压缩,包括如何选择压缩格式,如何在HDFS,MapReduce,Pig,Hive中压缩超大的文件,处理需要分块的压缩格式,如LZOP格式。
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的文件处理。介绍如何有效地进行压缩,包括如何选择压缩格式,如何在HDFS,MapReduce,Pig,Hive中压缩较小的文件。
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的文件处理。介绍如何有效地处理小文件。
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何优化数据序列化。
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何优化用户JAVA代码。 (要是文章或图片有不明确的地方,可以在文章后面留言,我会回复的。)
阅读全文
摘要:Hadoop翻译系列文章的索引
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何减小数据倾斜的性能损失。 (要是文章有不明确的地方,可以在文章后面留言,我会回复的。)
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何优化map阶段和reduce阶段之间的洗牌和排序。 (要是文章或者图片有不明确的地方,可以在文章后面留言,我会回复的。)
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何诊断硬件的性能问题。(本节部分图存在对齐问题)
(要是文章哪里看不懂的,或者图片里面英文看不懂的,可以在文章后面留言,我会回复的。)
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何诊断对map和reduce任务都有影响的性能问题。
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何诊断reduce的性能瓶颈。(修改重发布版本)
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍MapReduce性能的影响因子,如何诊断Map的性能瓶颈。
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。讲解如何获取性能指标,如何监控性能。
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的抽样操作。讲解如何从超大数据集中抽取一部分数据来加快开发。
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的排序操作。讲解如何实现跨map和reduce的所有数据总排序。
阅读全文
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的排序操作。讲解如何实现次排序。
阅读全文