08 2021 档案
摘要：show databases; show tables; 系统自带的函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function exte
阅读全文
摘要：spark下 [root@s101 /soft/spark/bin]#./beeline Beeline version 1.2.1.spark2 by Apache Hive beeline> !connect jdbc:hive2://s101:10000/mydb 0: jdbc:hive2:
阅读全文
摘要：hive--lead()上浮、lag()下沉--求同比 select occur_period ,occur_period_year ,occur_period_month ,org_name ,people_num ,people_num_2 -- （今年这个月人数 - 去年这个月人数）/去年这个
阅读全文
摘要：修改表的文件存储格式组织方式： ALTER TABLE table_name SET FILEFORMAT file_format alter table table_name set fileformat rcfile ALTER TABLE table_name CLUSTERED BY (co
阅读全文
摘要：4 主意:collect_set 只能返回不重复的集合 若要返回带重复的要用collect_list 组内拼接排序 select occur_period , sort_array(collect_list(num_jdz_2)) from qhtest.num_zws_update_test gr
阅读全文
摘要：hive递增 insert into table user_tables select ( concat ('sz000',row_number() over() ) ) 左填充 lpad() 右填充 rpad()
阅读全文
摘要：select occur_period ,arr_1 ,case when size(arr_1)%2=1 then arr_1[cast((size(arr_1)-1)/2 as int )] else (arr_1[cast(size(arr_1)/2 as int) ]+arr_1[cast(
阅读全文
摘要：hive 里的向上取整、向下取整、四舍五入取整的实例.以及精确保留小数位数。 【四舍五入取整截取】 select round(54.56,0) round至少保留一位小数。 55.0 【向下取整截取】 SELECT FLOOR(54.56) 54 【向上取整截取】 SELECT CEILING(13
阅读全文
摘要：选择tableName表中除了name、id、pwd之外的所有字段： set hive.support.quoted.identifiers=None; select `(name|id|pwd)?+.+` from tableName;
阅读全文
摘要：规划 s101(master+slave) s102(master+slave) s103(slave) 将tar包分发到每个节点 [centos@s101 /home/centos]$xsync.sh flink-1.10.1-bin-scala_2.12.tgz 解压tar包 xcall.sh
阅读全文
摘要：执行脚本完整版 [centos@s101 /home/centos]$flink run -m yarn-cluster -yt /home/centos/hadoop_dependent_jar -yjm 1024 -ytm 1536 -yn 2 -ys 3 -yqu root.centos -y
阅读全文
摘要：[centos@s101 /proc/92232/fd]$jps 82100 JobHistoryServer 92983 NameNode 93783 Master 92232 DFSZKFailoverController 114094 Jps [centos@s101 /proc/92232/
阅读全文
摘要：IDEA 配置文件 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem
阅读全文
摘要：1.规划 三台服务器 s101 //master(进程) s102 ~ s104 //worker(进程) 2.在每个主机上分别安装spark tar -zxvf /home/centos/download/spark-2.1.1-bin-hadoop2.7.tgz -C /soft/ ln -s
阅读全文
摘要：search_path修改了postgresql.conf没有生效 ，应该修改这个配置postgresql.auto.conf文件 修改了postgresql.conf没有生效 优先级 postgresql.auto.conf > postgresql.conf 方法1 修改 postgresql.
阅读全文
摘要：[root@s101 /var/lib/pgsql]#cat .bash_profile ./.bash_profile./.psql_history./.bash_history./.psqlrc .bash_profile 系统变量 .psql_history 历史操作的sql语句 .bash_
阅读全文
摘要：物理复制（流复制）和逻辑复制 区别 物理复制（流复制） 逻辑复制 基于wal物理复制 基于wal逻辑解析 实例级复制 可对表级复制 可对ddl操作进行复制 ddl操作不可复制 主库可读写 主库可读写 从库可读不可写 从库可读写 大版本必须一致 支持跨大版本复制 物理复制（流复制） 主库/primar
阅读全文
摘要：pg_stat_all_tables、pg_class、pg_tables、pg_indexes、pg_attribute 查看表大小 select pt.schemaname||'.'||pt.tablename,pg_relation_filepath(pt.schemaname||'.'||p
阅读全文
摘要：在配置文件中 [root@s101 /var/lib/pgsql/13/data]#nano postgresql.conf # AUTOVACUUM # #autovacuum = on # Enable autovacuum subprocess? 'on' # requires track_c
阅读全文
摘要：format格式化 格式说明符由 % 字符引进，格式为 %[ position ] type组件的字段有：position (optional)n$ 格式的字符串，这里的n是要打印的参数的索引。索引为1表示在formatstr之后的第一个参数。如果省略了position，默认使用序列中的下一个参数。
阅读全文
摘要：[root@s101 /var/lib/pgsql/13/data]#sudo systemctl restart postgresql-13Job for postgresql-13.service failed because the control process exited with er
阅读全文
摘要：select occur_period ,area_code ,index_code ,r ,gxl ,sum(gxl) over(order by r asc rows between unbounded preceding and current row ) as gxl_lj from tab
阅读全文
摘要：touch支持像date命令一样参数修改文件时间： [root@web10 ~]# touch -d "2 days ago" install.log ; 利用touch修改文件时间： 1. 同时修改文件的修改时间和访问时间 touch -d "2010-05-31 08:10:30" instal
阅读全文
