2018年12月21日

Hive(9)-自定义函数

摘要: 一. 自定义函数分类 当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数. 根据用户自定义函数类别分为以下三种: 1. UDF(User-Defined-Function) 一进一出 2. UDAF(User-Defined Aggregation Function 阅读全文

posted @ 2018-12-21 19:55 nt杨 阅读(321) 评论(0) 推荐(0) 编辑

Hive(8)-常用查询函数

摘要: 一. 空字段赋值 1. 函数说明 NVL:给值为NULL的数据赋值,它的格式是NVL( value,default_value)。它的功能是如果value为NULL,则NVL函数返回default_value的值,否则返回value的值,如果两个参数都为NULL ,则返回NULL。 2. 案例 二. 阅读全文

posted @ 2018-12-21 19:36 nt杨 阅读(2196) 评论(0) 推荐(0) 编辑

2018年12月20日

Hive(7)-基本查询语句

摘要: 一. 表和数据准备 1. 数据地址 链接:https://pan.baidu.com/s/1crr8B9bD_0Phfm99vLCWjg 提取码:5jzw 2. 建表语句 3. 上传数据到/opt/datas目录下,使用jdbc连接hive,导入表数据 二. 基本查询(select...from.. 阅读全文

posted @ 2018-12-20 14:25 nt杨 阅读(9100) 评论(1) 推荐(0) 编辑

2018年12月18日

Hive(6)-DML数据操作

摘要: 一. 数据导入 1. 语法 1). load data:表示加载数据 2). local:表示从本地加载数据到hive表;否则从HDFS加载数据到hive表 3). inpath:表示加载数据的路径 4). overwrite:表示覆盖表中已有数据,否则表示追加 5). into table:表示加 阅读全文

posted @ 2018-12-18 19:44 nt杨 阅读(334) 评论(0) 推荐(0) 编辑

Hive(5)-DDL数据定义

摘要: 一. 创建数据库 字段解释: 1). IF NOT EXISTS: 避免要创建的数据库已经存在 2). COMMENT : 给数据库添加一个备注 3). LOCATION: 如果不指定路径,默认的存储路径是HDFS的/user/hive/warehouse/*.db 4). WITH DBPROPE 阅读全文

posted @ 2018-12-18 19:19 nt杨 阅读(398) 评论(0) 推荐(0) 编辑

LinkedList的源码分析(基于jdk1.8)

摘要: 1.初始化 并未开辟任何类似于数组一样的存储空间,那么链表是如何存储元素的呢? 2.Node类型 存储到链表中的元素会被封装为一个Node类型的结点。并且链表只需记录第一个结点的位置和最后一个结点的位置。然后每一个结点,前后连接,就可以串起来变成一整个链表。 3.添加元素 4.删除元素 5.指定位置 阅读全文

posted @ 2018-12-18 12:50 nt杨 阅读(334) 评论(3) 推荐(0) 编辑

ArrayList的源码分析(基于jdk1.8)

摘要: 1.初始化 2. 添加元素 3.扩容 4.结论 ArrayList物理结构是数组,决定了它的存储特点是:需要开辟连续的存储空间来存储元素,当存储容量不够时,需要扩容,增加容量为原来的1.5倍。类似的,Vector的物理结构也是数组,当存储容量不够时,需要扩容为原来的2倍。那么是1.5倍好呢?还是2倍 阅读全文

posted @ 2018-12-18 12:36 nt杨 阅读(134) 评论(0) 推荐(0) 编辑

Set的源码分析

摘要: Set的内部实现其实是一个Map。即HashSet的内部实现是一个HashMap,TreeSet的内部实现是一个TreeMap,LinkedHashSet的内部实现是一个LinkedHashMap。 但是,存到Set中只有一个元素,又是怎么变成(key,value)的呢? 以HashSet为例 原来 阅读全文

posted @ 2018-12-18 12:30 nt杨 阅读(141) 评论(0) 推荐(0) 编辑

2018年12月17日

Hive(4)-Hive的数据类型

摘要: 一. 基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byte有符号整数 20 BIGINT long 8byte有符号整数 20 BOOLEAN boole 阅读全文

posted @ 2018-12-17 20:23 nt杨 阅读(936) 评论(0) 推荐(0) 编辑

Hive(3)-meta store和hdfs详解,以及JDBC连接Hive

摘要: 一. Meta Store 使用mysql客户端登录hadoop100的mysql,可以看到库中多了一个metastore 现在尤其要关注这三个表 DBS表,存储的是Hive的数据库 TBLS表,存储的是Hive中的表,使用DB_ID和DBS表关联 COLUMNS_V2存储的是每个表中的字段信息 M 阅读全文

posted @ 2018-12-17 19:46 nt杨 阅读(2814) 评论(0) 推荐(0) 编辑

导航