08 2020 档案
摘要：在Hive上有两种类型的表，一种是Managed Table，另一种是External Table。它俩的主要区别在于：当我们drop表时，Managed Table会同时删去data和meta data，而External Table只会删meta data。 一、Create Table 两者建
阅读全文
摘要：desc tablename; desc formatted tablename; show create table tablename;
阅读全文
摘要：sqoop导入数据到hive但是metastore不能连接重新配置的mysql中的metastore 0.修改 /soft/hive/conf/hive-site.xml <property> <name>hive.metastore.local</name> <value>false</value
阅读全文
摘要：chown 用户名:组名 文件路径（可以是就对路径也可以是相对路径）例1：chown xiaomi:xiaomi /temp/temp1就是把temp下的temp1的用户名和用户组改成xiaomi和xiaomi（只修改了temp1的属组）.例2：chown -R xiaomi:xiaomi /tem
阅读全文
摘要：sqoop的安装使用 RDBMS传统数据库和HadoopFile文件的导入导出工具 1.启动hadoop平台 2.sqoop mysql-->> hive 导入时创建表 bin/sqoop import \ --connect jdbc:mysql://192.1xx.xx.xxx:3306/库名
阅读全文
摘要：1.开启 zk [centos@s101 /soft/hive/bin]$xzk.sh start [centos@s101 /soft/hive/bin]$start-dfs.sh 启动 hdfs yarn start-all.sh 2.开启hiveserver2服务， 启动hiveserver2
阅读全文
摘要：mysql-mysql8在windows下安装 1.下载 exe安装包 https://mirrors.huaweicloud.com/mysql/Downloads/MySQL-8.0/ 2.安装mysql 3.安装目录 创建my.ini文件 保存为ANSI 文件 [mysqld] # 设置330
阅读全文
摘要：1.关闭数据库 systemctl stop mysql 查看文档 mysqldump --help 2.数据转储到单个文件 mysqldump -u root -p –-all-databases > all_databases.sql 3.转储单个数据库 mysqldump -u root -p
阅读全文
摘要：0.查看磁盘情况--确定data目录放在哪个文件夹下 fdisk -l lsblk 1.关闭防火墙 systemctl disable firewalld 2.解压安装包 .tar.xz 上传安装包 /usr/local/ xz -d mysql-5.7.24-linux-glibc2.12-x86
阅读全文
摘要：SELECT substring_index(substring_index(a.chain,'_',b.help_topic_id + 1 ), '_' ,- 1 ) AS ID FROM (select '1_11_1223_1242' as chain) a JOIN mysql.help_t
阅读全文
摘要：创建分区表 1.ORIENTATION决定了表的数据的存储方式。 取值范围： COLUMN：表的数据将以列式存储。 ROW（缺省值）：表的数据将以行式存储。 ORC：表的数据将以ORC格式存储（仅HDFS表）。 注意： orientation不支持修改 2.COMPRESSION 列存表的有效值为L
阅读全文
摘要：索引大法好 1.需要使用的列： 经常查询的列 排序的列 连接的列 where条件的列 经常出现order by 、group by 、distinct的列 注意：定期删除无用的索引，减少数据操作的负荷 2.索引的创建 唯一索引 create index index_name_id on dbsche
阅读全文
该文被密码保护。
摘要：1.PGSQL-查看sql正在运行的进程 SELECT datname,pid,state,query FROM pg_stat_activity where state='active' SELECT procpid, START, now() - START AS lap, current_qu
阅读全文
摘要：regexp_split_to_table(str,str1) regexp_split_to_array(str,str1) split_part(str,str1,取第几部分) select regexp_split_to_table('F:\QH本部文件\一套表部署相关\test.sh','\
阅读全文
摘要：1.substr(字符串，开始索引，截取长度)select SUBSTR('太阳当空照，花儿对我笑',1,4)太阳当空 substr(字符串，留下的字符串索引的开始)select SUBSTR('太阳当空照，花儿对我笑',5)照，花儿对我笑 2.substring(字符串 from 开始索引 for
阅读全文
摘要：1.炸裂函数regexp_split_to_table 以逗号切分，转为数据集 select regexp_split_to_table('飞机，火车，地铁，汽车', '，' ) select regexp_split_to_array('飞机，火车，地铁，汽车', '，' ) 转为数组 selec
阅读全文
摘要：安装https://www.yoytang.com/postgres-windows-install-and-config.html 下载最新的zip包 http://get.enterprisedb.com/postgresql/postgresql-9.5.2-1-windows-x64-bin
阅读全文
摘要：0.日期 格式化 to_date to_date(close_contact_time ,'yyyy-MM-dd hh24:mi:ss') select trunc('2020-08-10 10:43:32' ,'yyyy-MM-dd hh24:mi:ss' ) 1.当前时间 select CURR
阅读全文
摘要：数据倾斜、数据各节点分布情况、创建分布式表 查看表的分布节点 -- 查看表是否数据倾斜 select table_skewness('b_st_yz_aj_cgajfj'); -- 在哪个节点分布 -- 查看表是否数据倾斜 select table_skewness('b_st_yz_aj_cgaj
阅读全文
