随笔分类 -  大牛系列

摘要:简明介绍JAVA中的垃圾回收机制。需要知道更多信息请私信博主。 阅读全文
posted @ 2014-03-27 16:50 高翔DC 阅读(1112) 评论(2) 推荐(2) 编辑
摘要:Hadoop系列性能部分完结。其它的部分发布时间待定。Hadoop系列将不再一日一篇,开始不定期发布。 阅读全文
posted @ 2014-03-26 10:41 高翔DC 阅读(571) 评论(0) 推荐(0) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解以减少map开销为目的的自定义的连接框架。(这是整理稿。原来和另一篇合并在一起,现在单列出来。) 阅读全文
posted @ 2014-03-25 05:37 高翔DC 阅读(1291) 评论(0) 推荐(0) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解如何在Hadoop中编译安装配置压缩格式LZOP。 阅读全文
posted @ 2014-03-23 06:26 高翔DC 阅读(1285) 评论(0) 推荐(0) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的文件处理。介绍如何有效地进行压缩,包括如何选择压缩格式,如何在HDFS,MapReduce,Pig,Hive中压缩超大的文件,处理需要分块的压缩格式,如LZOP格式。 阅读全文
posted @ 2014-03-22 07:44 高翔DC 阅读(1751) 评论(0) 推荐(2) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的文件处理。介绍如何有效地进行压缩,包括如何选择压缩格式,如何在HDFS,MapReduce,Pig,Hive中压缩较小的文件。 阅读全文
posted @ 2014-03-21 06:28 高翔DC 阅读(3961) 评论(0) 推荐(1) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的文件处理。介绍如何有效地处理小文件。 阅读全文
posted @ 2014-03-20 06:47 高翔DC 阅读(4600) 评论(0) 推荐(1) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何优化数据序列化。 阅读全文
posted @ 2014-03-19 08:03 高翔DC 阅读(1831) 评论(0) 推荐(0) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何优化用户JAVA代码。 (要是文章或图片有不明确的地方,可以在文章后面留言,我会回复的。) 阅读全文
posted @ 2014-03-18 06:23 高翔DC 阅读(2344) 评论(0) 推荐(1) 编辑
摘要:Hadoop翻译系列文章的索引 阅读全文
posted @ 2014-03-17 09:53 高翔DC 阅读(1717) 评论(0) 推荐(0) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何减小数据倾斜的性能损失。 (要是文章有不明确的地方,可以在文章后面留言,我会回复的。) 阅读全文
posted @ 2014-03-16 11:44 高翔DC 阅读(4704) 评论(0) 推荐(2) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何优化map阶段和reduce阶段之间的洗牌和排序。 (要是文章或者图片有不明确的地方,可以在文章后面留言,我会回复的。) 阅读全文
posted @ 2014-03-15 06:39 高翔DC 阅读(3598) 评论(0) 推荐(2) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何诊断硬件的性能问题。(本节部分图存在对齐问题) (要是文章哪里看不懂的,或者图片里面英文看不懂的,可以在文章后面留言,我会回复的。) 阅读全文
posted @ 2014-03-14 06:47 高翔DC 阅读(1724) 评论(2) 推荐(0) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何诊断对map和reduce任务都有影响的性能问题。 阅读全文
posted @ 2014-03-13 06:34 高翔DC 阅读(1993) 评论(0) 推荐(0) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何诊断reduce的性能瓶颈。(修改重发布版本) 阅读全文
posted @ 2014-03-12 10:00 高翔DC 阅读(1962) 评论(0) 推荐(2) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍MapReduce性能的影响因子,如何诊断Map的性能瓶颈。 阅读全文
posted @ 2014-03-11 06:19 高翔DC 阅读(6134) 评论(4) 推荐(0) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。讲解如何获取性能指标,如何监控性能。 阅读全文
posted @ 2014-03-10 06:40 高翔DC 阅读(2342) 评论(2) 推荐(3) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的抽样操作。讲解如何从超大数据集中抽取一部分数据来加快开发。 阅读全文
posted @ 2014-03-09 08:09 高翔DC 阅读(3669) 评论(0) 推荐(2) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的排序操作。讲解如何实现跨map和reduce的所有数据总排序。 阅读全文
posted @ 2014-03-08 06:27 高翔DC 阅读(3665) 评论(0) 推荐(0) 编辑
摘要:来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的排序操作。讲解如何实现次排序。 阅读全文
posted @ 2014-03-07 06:18 高翔DC 阅读(7664) 评论(0) 推荐(3) 编辑