Hive的配置及优化
配置:
1、使用shell脚本导出数据为 *.csv 格式的表 显示表中字段配置
正常的输出数据是不带字段的。只是导出数据,为了实现字段名和数据对应着输出,做以下配置:
hive中导出查询结果的时候控制是否true | false (输出字段名 | 不输出字段名)
hive -e "SET hive.cli.print.header=true;select * from yewu.data1 limit 0;" | sed -e "s/\t/,/g;s/data\.//g" | grep -v "WARN" > fileds.csv
先设置hive参数,SET hive.cli.print.header=true 输出时打印表头, 表名.字段名
sed -e “s/\t/,/g;s/data.//g” 使用sed命令将\t分隔符替换成逗号,将表名.删除
grep -v "WARN"这个是过滤掉WARN信息
1.2、使用hive查询显示表中的字段配置
hive> -- 数据上显示 【表名.字段名】 > set hive.cli.print.header=true; ----------------------------------------------------- hive> -- 数据上只显示 【字段名】 > set hive.resultset.use.unique.column.names=false;
1.3、在Hive配置安装的时候配置,实现永久显示字段名
在hive-site.xml文件中添加配置信息:
<property> <name>hive.cli.print.header</name> <value>true</value> </property> <property> <name>hive.resultset.use.unique.column.names</name> <value>false</value> </property>
配置完成后需要重启服务配置项才生效
============================================================
优化:
------有待进一步更新