随笔分类 - Hive

hive/UDF/UDAF/UDTF/自定义函数介绍

摘要：函数/UDF -输入一行记录，输出一行记录。如length 聚集函数/UDAF -输入多行记录，输出一行记录。如sum/count 表生成函数/UDTF 输入一行记录，输出多行记录，如explode 自定义函数自己用java开发jar包阅读全文

posted @ 2020-08-10 15:55 猫七的blog 阅读(78) 评论(0) 推荐(0) 编辑

hive基本查询命令

摘要：CREATE TABLE employees( name STRING, salary FLOAT, subordinatates ARRAY<STRING> deductions MAP<STRING,FLOAT> address STRUCT<street:STRING,city:STRING, 阅读全文

posted @ 2020-08-04 10:00 猫七的blog 阅读(15) 评论(0) 推荐(0) 编辑

hive cli基本交互命令

摘要：HIVE CLI交互式模式： 1.退出hive: exit 2.在hive中运行本地shell命令，不需要退出hive执行操作: !echo 'hello hive' 3.在hive上直接运行dfs命令 dfs -ls /; 查看根目录 dfs -du -h /; 查看根目录空间大小 HIVE CL 阅读全文

posted @ 2020-08-03 16:09 猫七的blog 阅读(320) 评论(0) 推荐(0) 编辑

大数据基础知识介绍

摘要：Hadoop:分布式计算平台 HDFS:分布式文件系统一个hdfs集群包含一个节点，称为NameNode，管理文件系统名称空间，存储metadata（每一个文件包含多少个block，每个block在哪个主机？），规范客户端对文件访问。 DataNode，将数据以块（block）存储在文件中 map 阅读全文

posted @ 2020-08-03 15:12 猫七的blog 阅读(154) 评论(0) 推荐(0) 编辑

Hive基本知识介绍

摘要：Hive是个啥？用类似sql语句实现对分布式存储系统的数据读写、管理功能的软件。HIVE不同于RDBMS（一般指关系数据库管理系统） Hive特点 1.使用类sql语句分析大数据，避免借助MapReduce程序分析数据 2.数据存储在HDFS上，不是Hive软件上（所以schema变更的时候，仅仅阅读全文

posted @ 2020-07-13 10:24 猫七的blog 阅读(313) 评论(0) 推荐(0) 编辑