2017 年 12月 24 日随笔档案 - 柚子=_=

摘要：本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xmlhdfs-default.xmlmap... 阅读全文

posted @ 2017-12-24 19:10 柚子=_= 阅读(667) 评论(0) 推荐(0) 编辑

摘要： 2. Linux系统层面上的配置调优2.1. 文件系统的配置a) 关闭文件在被操作时会记下时间戳:noatime和nodiratimeb) 选择I/O性能较好的文件系统（Hadoop比较依赖本地的文件系统）2.2... 阅读全文

posted @ 2017-12-24 19:04 柚子=_= 阅读(427) 评论(0) 推荐(0) 编辑

摘要：转载地址：http://www.taobaotest.com/blogs/2517引言Hadoop生态圈的基石有两个，一个是HDFS文件系统，一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载... 阅读全文

posted @ 2017-12-24 18:32 柚子=_= 阅读(1263) 评论(0) 推荐(0) 编辑

柚子=_=