hive自增ID
自增列的生成
over()里不带排序或order by 1是一样的效果
select row_number() over() as id,a1.id,relationwords,relation_words
from ods.ods_wpt_management_search_relation_words_full_1d a1
lateral view explode(split(relationwords,';')) relationwords as relation_words
where dt='2020-03-30'
结果如下:
OK 1 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善奇石 2 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善三通 3 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善碧玉 4 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善配饰 5 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善眼睛石 6 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善原石 7 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善彩玉 8 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善玛瑙 9 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽绿松 10 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽单圈 11 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽三通 12 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽雕刻 13 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽佛头 14 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽横打 15 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽鬼脸 16 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽配饰 17 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽108 18 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽手串 19 147 手表;腕表;男士手表;女士手表;手表二手;机械手表;石英表;商务手表 商务手表 Time taken: 34.197 seconds, Fetched: 19 row(s)
方式2:
select row_number() over(order by 1) as id,a1.id,relationwords,relation_words
from ods.ods_wpt_management_search_relation_words_full_1d a1
lateral view explode(split(relationwords,';')) relationwords as relation_words
where dt='2020-03-30'
结果如下:
OK 1 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善奇石 2 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善三通 3 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善碧玉 4 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善配饰 5 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善眼睛石 6 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善原石 7 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善彩玉 8 149 阿拉善玛瑙;阿拉善彩玉;阿拉善原石;阿拉善眼睛石;阿拉善配饰;阿拉善碧玉;阿拉善三通;阿拉善奇石 阿拉善玛瑙 9 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽绿松 10 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽单圈 11 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽三通 12 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽雕刻 13 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽佛头 14 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽横打 15 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽鬼脸 16 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽配饰 17 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽108 18 148 百香籽手串;百香籽108;百香籽配饰;百香籽鬼脸;百香籽横打;百香籽佛头;百香籽雕刻;百香籽三通;百香籽单圈;百香籽绿松 百香籽手串 19 147 手表;腕表;男士手表;女士手表;手表二手;机械手表;石英表;商务手表 商务手表 Time taken: 18.759 seconds, Fetched: 19 row(s)
2、接续插入目标表方案
insert into table id_test
select row_number() over() + t2.max_id as id, t1.name
from (select name from nametb) t1
cross join (select coalesce(max(id),0) max_id from id_test) t2;