随笔分类 - 06.hive
摘要：查看各节点磁盘使用情况 hdfs dfsadmin -report | grep -E "Name:|DFS Used%:" 集群平衡 mv balance.sh /home/hdfs/ su hdfs vim balance.sh chmod +x balance.sh ls hdfs dfsad
阅读全文
摘要：-- hive 输出库中表结构 -- 输出所有表名 hive -e "use xx;show tables;" > tables.txt vim echo_table.sh -- 输出所有表结构 #!/bin/bash echo 'use xx;' >> tablesDDL.sql cat tabl
阅读全文
摘要：use hive;# mysql元数据库alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE va
阅读全文
摘要：https://www.dandelioncloud.cn/article/details/1525380158727143425 -- hive迁移导出导入数据流程 -- 导出脚本 1.创建导出库 create database export_dts_1215; 2.设置导出库为默认库 su hd
阅读全文
摘要：get_json_object(string json_string, string path) 无法解析汉字 get_json_object('{"movie":"594","rate":"4","timeStamp":"978302268","uid":"1"}','$.movie'); jso
阅读全文
摘要：[hdfs@prod01 root]$ hdfs dfs -du -h hdfs://prod-hdfs/apps/hive/warehouse/dtsaas.db | grep G | sort -n -k 1
阅读全文
摘要：1. su hdfs cd ~ 2. hive -e " set hive.cli.print.header=true; USE saas; SELECT CONCAT_WS(',', cast( nvl(order_id ,0) as string) ,cast( nvl(total_amount
阅读全文
摘要：1. left semi join 类似 in \exists 的功能，但是更高效 a left join b 若1对多，结果集会出现多条数据，但是left semi join 只会筛选出a表中包含过关联条件的数据不会增加 2. left anti join a left anti join b 的
阅读全文
摘要：--自动生成json数据 select TABLE_NAME , concat (',',COLUMN_NAME) COLUMN_NAME , case when t.data_TYPE in('varchar','text') then 'string' when t.data_TYPE = 'd
阅读全文
摘要：1.collect_set 分组组合数组（数组内去重） collect_setselect code ,collect_set(tenant_id) from dim_mkt_event group by code;2.array_contains 数组中是否包含 ,返回布尔类型 select co
阅读全文
摘要：hive 上卷 rollup with cube grouping sets https://cwiki.apache.org/confluence/display/Hive/Enhanced+Aggregation%2C+Cube%2C+Grouping+and+Rollup
阅读全文
摘要：040.mysql-datax从hive导入mysql报错：（表情包字符） java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x87\xF0\x9F...' for column 'member_name 解决方法 ：jdbc链
阅读全文
摘要：(case when b.max_coupon_id is not null then -(floor(abs(a.target_points)/a.coupon_num)+ pmod(a.target_points,a.coupon_num)) when b.max_coupon_id is nu
阅读全文
摘要：hive- date_format(b.month_start_date_entry ,'yyyyMMdd') mysql- DATE_FORMAT(create_time,'%Y%m%d')
阅读全文
摘要：hive-sort_arry实现字段横向比较，并取出最大值 先把多字段组成数组，再数组排序，取出最后一个即为最大值 sort_array(array(nvl(is_receive_recharge,0),nvl(is_receive_coupon,0),nvl(is_receive_points,0
阅读全文
摘要：hive-hive生成一段连续日期 select pos ,date_add(start_date,pos) as stat_date from (select '${entryDate}' as start_date, '${abortDate}' as end_date) temp latera
阅读全文
摘要：https://www.cnblogs.com/airnew/p/9788122.html 不能直接通过 create table as select 创建表，对改变表结构丢失表备注信息（分区表） create table dwd_cstm_points_record_mi_back__202203
阅读全文
摘要：https://www.cnblogs.com/zz-ksw/p/12917693.html
阅读全文
摘要：hive查询表大小 查询表在hdfs的地址 show create table xxx 查询表大小 hdfs dfs -du -h 查询表的格式（内部表还是外部表、表的存储格式） desc formatted iocgjk_new.o_ls_kcw_t_kcw_xtcx_gjgdyjpt102593
阅读全文
摘要：https://blog.csdn.net/join_null/article/details/108264010?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-
阅读全文
