star521

2023年6月27日

摘要：查看各节点磁盘使用情况 hdfs dfsadmin -report | grep -E "Name:|DFS Used%:" 集群平衡 mv balance.sh /home/hdfs/ su hdfs vim balance.sh chmod +x balance.sh ls hdfs dfsad 阅读全文

posted @ 2023-06-27 10:53 star521 阅读(174) 评论(0) 推荐(0) 编辑

003.clickhouse-ck输出所有的表结构

摘要： -- clickhouse 输出库中表结构 -- 输出所有表名 clickhouse client --host 1xx.xxx.xx.xx --user xx_xx --password xxxx --multiquery --query="use default;show tables;"> d 阅读全文

posted @ 2023-06-27 10:48 star521 阅读(1016) 评论(0) 推荐(0) 编辑

041.hive-hive输出所有表结构

摘要： -- hive 输出库中表结构 -- 输出所有表名 hive -e "use xx;show tables;" > tables.txt vim echo_table.sh -- 输出所有表结构 #!/bin/bash echo 'use xx;' >> tablesDDL.sql cat tabl 阅读全文

posted @ 2023-06-27 10:45 star521 阅读(230) 评论(0) 推荐(0) 编辑

002.clickhouse-ck导出csv文件

摘要： clickhouse-client --host=xx.xxx.xx.xx --user=xxxxxxx --password=xxxxxxx -m -d 库名 --query " select b.member_no ,b.phone_number from ( SELECT entity_id 阅读全文

posted @ 2023-06-27 10:38 star521 阅读(261) 评论(0) 推荐(0) 编辑

2023年4月21日

08.hbase创建表

摘要： [root@ecs-0001 bin]# hbase shell查看所有表hbase(main):001:0> listcreate 'SAAS:DWS_MCHT_SHOP_PORTRAYS', 'BASE', 'DATA'查看表详情desc 'SAAS:DWS_MCHT_SHOP_PORTRAYS 阅读全文

posted @ 2023-04-21 14:44 star521 阅读(115) 评论(0) 推荐(0) 编辑

2023年3月21日

002.phoenix-添加表的索引，并激活索引

摘要：查看是否走索引 explain select id,tenant_id ,orderid,localorderid,item_code ,item_name ,weight,quantity,price,total,sku_id,discountprice,payamount from ORDER_ 阅读全文

posted @ 2023-03-21 14:37 star521 阅读(101) 评论(0) 推荐(0) 编辑

2023年3月14日

040.hive-hive建表注释中文乱码问题

摘要： use hive;# mysql元数据库alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE va 阅读全文

posted @ 2023-03-14 10:11 star521 阅读(16) 评论(0) 推荐(0) 编辑

2023年2月23日

001.CRT-rz 、sz 上传下载文件;解决无法退格、设置utf-8;下载路径

摘要：可以用这两个secureCRT的命令来实现linux服务器和本地硬盘之间进行数据交换： rz（本地win上传文件到远端linux） sz（远端linux传输文件到本地win）但传输大文件时，可能会超时导致传输中断，这个问题可以用下面的参数避免： rz –bey sz –bey 下载路径解决无法退阅读全文

posted @ 2023-02-23 15:40 star521 阅读(66) 评论(0) 推荐(0) 编辑

2023年2月8日

025.Linux-将本地文件批量发送到配置免密的其他服务器

摘要： [root@ecs-xxx ~]# cat bilist 1x.xx.x4.xx 1x.x.x8.xx 1x.x.xx.xx 1x.x.1x.xx for i in `cat bilist`;do scp /data/datacenter/libs/* $i:/data/datacenter/lib 阅读全文

posted @ 2023-02-08 14:06 star521 阅读(36) 评论(0) 推荐(0) 编辑

2023年2月6日

001.clickhouse-创建分布式表

摘要： https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24204.html https://blog.csdn.net/weixin_32265569/article/details/113796490 clickhouse登录-多行模式 cli 阅读全文

posted @ 2023-02-06 20:39 star521 阅读(699) 评论(0) 推荐(0) 编辑

2022年12月26日

001.phoenix-修改表的字段长度

摘要：登录phoenix cd /usr/hdp/2.6.5.0-292/phoenix/bin ./sqlline-thin.py 查看表结构 !tables !describe order_center.tr_order 查询系统表设置 select TENANT_ID,TABLE_SCHEM,TAB 阅读全文

posted @ 2022-12-26 14:53 star521 阅读(129) 评论(0) 推荐(0) 编辑

2022年12月25日

046.hive-数据迁移脚本

摘要： https://www.dandelioncloud.cn/article/details/1525380158727143425 -- hive迁移导出导入数据流程 -- 导出脚本 1.创建导出库 create database export_dts_1215; 2.设置导出库为默认库 su hd 阅读全文

posted @ 2022-12-25 16:23 star521 阅读(135) 评论(0) 推荐(0) 编辑

045.hive-hive解析json-json_tuple

摘要： get_json_object(string json_string, string path) 无法解析汉字 get_json_object('{"movie":"594","rate":"4","timeStamp":"978302268","uid":"1"}','$.movie'); jso 阅读全文

posted @ 2022-12-25 15:51 star521 阅读(173) 评论(0) 推荐(0) 编辑

2022年7月26日

044.hive-查看hdfs各表所占大小，并排序

摘要： [hdfs@prod01 root]$ hdfs dfs -du -h hdfs://prod-hdfs/apps/hive/warehouse/dtsaas.db | grep G | sort -n -k 1 阅读全文

posted @ 2022-07-26 18:21 star521 阅读(1400) 评论(0) 推荐(0) 编辑

043.hive-导出数据hive-csv

摘要： 1. su hdfs cd ~ 2. hive -e " set hive.cli.print.header=true; USE saas; SELECT CONCAT_WS(',', cast( nvl(order_id ,0) as string) ,cast( nvl(total_amount 阅读全文

posted @ 2022-07-26 18:19 star521 阅读(221) 评论(0) 推荐(0) 编辑

公告