关于hadoop hive中使用hive分区功能

很多人习惯了使用第三方的工具

去连接hive或者hbase数据库,并且

使用其中的sql编辑器进行失去了语句

的使用来进行数据的分析等一系列的

操作,但是一些shell命令也可以在其中

运行例如:

1.	set hive.exec.dynamic.partition=true;  
2.	set hive.exec.dynamic.partition.mode=nonstrict;  
3.	set hive.exec.max.dynamic.partitions.pernode=1000;  
4.	insert overwrite table dividends partition(`exchange`,`symbol`) select `ymd`,`dividend`,`exchange`,`symbol` from dividends_unpartitioned;

 也可以在sql编辑器中运行,但是结果有时没有或者有偏差。

所以最好的解决办法是遇到sql+shell或者纯shell命令时回到

原本的设立了界面去运行,不要再用第三方工具。

posted @ 2023-12-05 09:17  风·华正茂  阅读(9)  评论(0编辑  收藏  举报