03 2019 档案
摘要：本文主要是hbase的表操作、数据操作、数据查询过滤等，如果对JDBC或ADO有了解，容易理解HBASE API。 hbase版本是2.0。 1、为了方便先贴helper的部分代码（文末git上有完整的测试代码），主要是为了复用Connection。 初始化，用来初始化hbase配置，连接hbase
阅读全文
摘要：1、获取windows AD域用户信息，首先需要有一个ad域管理员权限的账号，用这个账号连接ad域，获取所有域用户信息 用LdapContext，它继承自DirContext 2、用DirContext，与上边略有区别 3、用Spring集成ldap application.yml的配置，一种方式自
阅读全文
摘要：1、安装 在官方镜像站点下载hbase2.0，地址：https://www.apache.org/dyn/closer.lua/hbase/ 设置好JAVA_HOME环境变量，或者直接在hbase的配置文件(conf/hbase-env.sh)里设置JAVA_HOME 设置HBASE_HOME，这个
阅读全文
摘要：1、用hive查询，而不进入hive cli，查询后的值可以保存到文件中 2、查找某个配置属性 3、执行外部脚本
阅读全文
摘要：1、内连接 2、外连接 全连接，两边都全显示 3、半连接 4、map连接 5、子查询，Hive只支持在FROM子句中使用子查询，子查询必须有名字，并且列必须唯一：SELECT ... FROM(subquery) name ... 某些情况子查询可以出现在where子句中，本文中第三点半连接就是子查
阅读全文
摘要：1、order by 是对数据进行全排序，属于标准排序语句 2、sort by 对数据局部排序，是hive的扩展排序语句 sort by不是全局排序，其在数据进入reducer前完成排序. 因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1， 则sort by只保
阅读全文
摘要：1、load data 2、insert 3、多表插入，在单表插入的时候，from子句可以放在前面，这个特性在多表插入的时候被应用 4、使用CTAS创建表并导入数据，create table ... as select ...
阅读全文
摘要：1、创建分区表 修改表： 1.1、加载数据 partition的分区字段体现在存储目录上，与文件中的实际存储字段没有关系。 1.2、显示分区信息 1.3、分区列属于表的正式列，但是文件中没有存储分区列信息。分区列的信息是从目录中读取的。 2、分桶表 2.1、检查分桶属性，设置分桶属性是为了使用hiv
阅读全文
摘要：use information_schema;查看所有 select concat(round(sum(data_length/1024/1024),2),'MB') as data from tables;查看指定数据库 select concat(round(sum(data_length/1024/1024),2),'MB') as data from tables where table...
阅读全文
摘要：1、下载地址：http://mirrors.hust.edu.cn/apache/ 2、conf配置 解压后进入hive的conf目录，新建配置文件，设定hive元数据存储的数据库等 因为用的是mysql作为元数据存储，将mysql连接jar包放入hive的lib目录下：mysql-connecto
阅读全文
