2016年5月30日

利用shell脚本结合hive语句进行数据加载时的优化
摘要： 把hdfs上的文件加载到hive分区表 version0.1:遍历目录下的所有文件，逐个文件加载，循环次数多，单个文件加载不利于发挥系统io性能 version0.2：遍历每个小时子目录，批量文件加载，减少了循环次数，提升了系统io利用率 version0.3:只需登录一次hive，在version 阅读全文
posted @ 2016-05-30 23:50 葱油饼 阅读(523) 评论(0) 推荐(0) 编辑

导航