摘要: Map阶段的优化(Map phase) Mapred.min.split.size指的是数据的最小分割单元大小。 Mapred.max.split.size指的是数据的最大分割单元大小。 dfs.block.size指的是HDFS设置的数据块大小。 Reduce阶段的优化(Reduce phase) 阅读全文
posted @ 2017-01-03 18:25 Syn良子 阅读(810) 评论(0) 推荐(0) 编辑
摘要: 作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 有时候用hive读取外表数据时,比如csv这种类型的,需要跳过行首或者行尾一些和数据无关的或者自动生成的多余信息,这里可以用属性设置来实现,快速mark下,建表的时候设置如下 对,就是上面sql中 阅读全文
posted @ 2017-01-03 10:36 Syn良子 阅读(2623) 评论(0) 推荐(1) 编辑