关于hadoop hive中使用hive分区功能
很多人习惯了使用第三方的工具
去连接hive或者hbase数据库,并且
使用其中的sql编辑器进行失去了语句
的使用来进行数据的分析等一系列的
操作,但是一些shell命令也可以在其中
运行例如:
1. set hive.exec.dynamic.partition=true; 2. set hive.exec.dynamic.partition.mode=nonstrict; 3. set hive.exec.max.dynamic.partitions.pernode=1000; 4. insert overwrite table dividends partition(`exchange`,`symbol`) select `ymd`,`dividend`,`exchange`,`symbol` from dividends_unpartitioned;
也可以在sql编辑器中运行,但是结果有时没有或者有偏差。
所以最好的解决办法是遇到sql+shell或者纯shell命令时回到
原本的设立了界面去运行,不要再用第三方工具。