Hive 常见设置
1. Hive中 null 太多会占用大量空间 , 用这个可以减少占用
alter table test_null set serdeproperties('serialization.null.format' = '');
2. 使用 sqoop 从mysql 和HIVE的 互相导入
mysql 中 空 底层是用 null 表示
hive 中 空 底层是用 /N 表示
3. HIVE支持 tez 引擎 , 比MapReduce 引擎更快
4.建立MapReduce 任务的时候 , 文件太多 , 可以设置
set mapred.max.split.size=100000000;
set mapred.min.split.size.per.node=100000000;
set mapred.min.split.size.per.rack=100000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
这是将碎文件合并之后, 再处理
因为一般情况下 , 如果有100个1M的文件 , 会有100个map 任务开启 , 优化
之后 , 直接将100个小文件合并成一个100M的文件 , 再进行处理
5. HIVE 也可以设置reduce 个数 . 然后也就是会有几个文件
6.