Hive(10) hive的复合类型使用说明和实战

hive的复合类型使用说明和实战

1、参数说明

#创建表的时候可以指定每行数据的格式,如果使用的是复合数据类型，还需要指定复合数据类型中的元素分割符
ROW FORMAT DELIMITED 
	[FIELDS TERMINATED BY char [ESCAPED BY char]] 
	[COLLECTION ITEMS TERMINATED BY char]
	[MAP KEYS TERMINATED BY char] 
	[LINES TERMINATED BY char]
		
#其中这里 
FIELDS TERMINATED BY char 	         #指定每一行记录中字段的分割符
COLLECTION ITEMS TERMINATED BY char  #指定复合类型中多元素的分割符
MAP KEYS TERMINATED BY char         #指定map集合类型中每一个key/value之间的分隔符
LINES TERMINATED BY char            #指定每行记录的换行符，一般有默认 就是\n 

2、Array类型

array中的数据为相同类型，例如，假如array A中元素['a','b','c']，则A[1]的值为'b'

准备数据文件

vi /tmp/t_array.txt  (字段空格分割)

1 zhangsan beijing,shanghai
2 lisi shanghai,tianjin

建表语法

create table t_array(
id string,
name string,
locations array<string>
) row format delimited fields terminated by ' ' collection items terminated by ',';

加载数据

load data local inpath '/tmp/t_array.txt' into table t_array;

查询数据

select id,name,locations[0],locations[1] from t_array;
+-----+-----------+-----------+-----------+--+
| id  |   name    |    _c2    |    _c3    |
+-----+-----------+-----------+-----------+--+
| 1   | zhangsan  | beijing   | shanghai  |
| 2   | lisi      | shanghai  | tianjin   |
+-----+-----------+-----------+-----------+--+

3、Map类型

map类型中存储key/value类型的数据，后期可以通过["指定key名称"]访问

准备数据文件

vi /tmp/t_map.txt  (字段空格分割)

1 name:zhangsan#age:30
2 name:lisi#age:40

建表语法

create table t_map(
id string,
info map<string,string>
) row format delimited fields terminated by ' ' collection items terminated by '#' map keys terminated by ':';

加载数据

load data local inpath '/tmp/t_map.txt' into table t_map;

查询数据

select id, info['name'], info['age'] from t_map;
+-----+-----------+------+--+
| id  |    _c1    | _c2  |
+-----+-----------+------+--+
| 1   | zhangsan  | 30   |
| 2   | lisi      | 40   |
+-----+-----------+------+--+

4、Struct类型

Struct可以存储不同类型的数据，例如c的类型为struct{a INT; b INT}，我们可以通过c.a来访问域a

准备数据文件

vi /tmp/t_struct.txt  (字段空格分割)

1 zhangsan:30:beijing
2 lisi:40:shanghai

建表语法

create table t_struct(
id string,
info struct<name:string, age:int,address:String>
) row format delimited fields terminated by ' ' collection items terminated by ':' ;

加载数据

load data local inpath '/tmp/t_struct.txt' into table t_struct;

查询数据

select id,info.name,info.age,info.address from t_struct;
+-----+-----------+------+-----------+--+
| id  |   name    | age  |  address  |
+-----+-----------+------+-----------+--+
| 1   | zhangsan  | 30   | beijing   |
| 2   | lisi      | 40   | shanghai  |
+-----+-----------+------+-----------+--+

hive拓展点1

• hive cli命令窗口查看本地文件系统

  • 与操作本地文件系统类似，这里需要使用 ! (感叹号)，并且最后需要加上 ;(分号)

  • 例如

    !ls /home;
    

    

• hive cli命令窗口查看HDFS文件系统

  • 与查看HDFS文件系统类似

    dfs -ls /user;
  

  

• hive的底层执行引擎有3种

  • mapreduce(默认)
  • tez（支持DAG作业的计算框架）mr1-->mr2 -->mr3
  • spark（基于内存的分布式计算框架）