随笔分类 - Hive

调整Hive表默认格式为ORC踩坑

摘要：由于集群Hive默认使用的存储格式为text，为了节省硬盘资源，因此需要对之前的脚本进行改造，最快捷的方式就是在脚本最前面加set hive.default.fileformat=orc，经过测试这个命令确实生效了，很多脚本也运行成功，但是有的脚本在计算的中间过程中会报错，这次针对报错的脚本来解析一阅读全文

posted @ 2022-09-19 15:31 人不疯狂枉一生阅读(797) 评论(0) 推荐(0) 编辑

Hive向量化使用规则

摘要：经常听到有开发人员抱怨开启了向量化，查询速度怎么还这么慢，其实Hive开启向量化并不是万能的，它需要同时满足以下两个条件才能发挥出效果。 1.表的存储类型表存储的格式需要是Orc或者Parquet,简单的说就是列存储。 2.向量化支持的函数以下是官网的关于支持向量化的函数，不在这里面的函数是不支阅读全文

posted @ 2022-08-30 17:51 人不疯狂枉一生阅读(361) 评论(0) 推荐(0) 编辑