随笔分类 - 实战学习

时间转化

摘要：hive库 yyyy-MM-dd HH:mm:ss 转换为 yyyyMM hive 2021-12-24 18:35:13 > 202112 select from_unixtime(unix_timestamp(ctime, 'yyyy-mm'), 'yyyymm') from table; 获取阅读全文

posted @ 2023-10-18 10:19 jsqup 阅读(2) 评论(0) 推荐(0) 编辑

sql 加工后--小文件解决方案

摘要：10.24.8.5 # 切换用户 su - hive # 查看表文件 [hive@hadoop-0001 ~]

hdfs dfs -ls /user/hive/warehouse/bibase.db/ # 查看某一张表磁盘上的小文件 [hive@hadoop-0001 ~]

$hdfs dfs -ls /user/hive/warehouse/bibase.db/ # 查看某一张表磁盘上的小文件 [hive@hadoop-0001 ~]$ hdfs dfs - 阅读全文

posted @ 2022-12-26 16:06 jsqup 阅读(20) 评论(0) 推荐(0) 编辑

hive支持的压缩算法

摘要：压缩格式的设置 set mapred.output.compression= |压缩格式|工具|算法|扩展名|是否支持分割|Hadoop编码/解码器| | | | | | | | |default||deflate|.deflate|No|org.apache.hadoop.io.compress. 阅读全文

posted @ 2022-12-08 15:26 jsqup 阅读(27) 评论(0) 推荐(0) 编辑

hive文件存储格式

posted @ 2022-12-07 15:53 jsqup 阅读(49) 评论(0) 推荐(0) 编辑

SQL中使用JOIN时，过滤条件的位置

摘要：sql语句 (SELECT * FROM t1 WHERE {subquery_where_condition}) a JOIN (SELECT * FROM t2 WHERE {subquery_where_condition}) b ON {on_condition} WHERE {where_ 阅读全文

posted @ 2022-12-07 15:25 jsqup 阅读(191) 评论(0) 推荐(0) 编辑

行式存储和列式存储的区别

摘要：1. 什么是行式存储和列式存储？ 2. 行式存储分析？缺点： -- 行式在读取数据的时候，所查询的目标只涉及少数几项属性，但由于这些目标数据埋藏在各行数据单元中，而行单元又特别大，必须读取每一条完整的行记录，从而使得读取效率大大降低。 -- 可以加索引或给表分区进行优化。优点： -- 1. 适合阅读全文

posted @ 2022-12-02 15:05 jsqup 阅读(101) 评论(0) 推荐(0) 编辑