随笔分类 - Hive
摘要：本文基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类： 一、DDL语句（数据定义语句）： 对数据库的操作：包含创建、修改数据库 对数据表的操作：分为内部表及外部表，分区表和分桶表 二、DQL语句（数据查询语句）： 单表查询、关联查询 hive函数：包含聚合函数，条件
阅读全文
摘要：Hive自带的json解析函数 1. get_json_object 语法：get_json_object(json_string, '$.key') 说明：解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效，那么返回NULL。这个函数每次只能返回一个数
阅读全文
摘要：一、Hive 支持原始数据类型和复杂数据类型, 原始数据类型包含数值型/Boolean/字符串/时间戳，复杂数据类型包含 map/struct/array/union Hive 支持的原始数据类型 二、日期互转 string 数据文本 转 yyyy-mm-dd 语法：to_date(from_uni
阅读全文
摘要：Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。 列裁剪和分区裁
阅读全文
摘要：库操作 创建数据库 -- 创建一个数据库，在HDFS上的默认路径为/user/hive/warehouse/*.db create database mydatabase; -- 可以使用if exists判断数据库是否已存在(存在则不创建) create database if not exist
阅读全文
摘要：一、安装docker 二、安装docker-compose 两种最新的docker安装方式 1.从github上下载docker-compose二进制文件安装1.1下载最新版的docker-compose文件 sudo curl -L https://github.com/docker/compos
阅读全文
摘要：hive 建表语法 内部表： create table fzname (id int,name string,age int,tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; 1 2 3 4 5
阅读全文
