摘要：
1.修改环境变量 ${HIVE_HOME}/conf/hive-site.xml 2.命令行参数 -e : 执行短命令 -f : 执行文件（适合脚本封装） -S : 安静模式，不显示MR的运行过程 -hivevar : 传参数 ，专门提供给用户自定义变量。 -hiveconf : 传参数，包括了hi 阅读全文
posted @ 2018-09-11 16:09 打杂滴 阅读(530) 评论(0) 推荐(0) 编辑
2018年9月11日
摘要：
hive 默认格式为文本格式，便于文本查看数据，便于与其他工具共享,与二进制文件相比占用较大的空间 hive> create table tb_test(id int,name string) stored as textfile;OKTime taken: 0.968 secondshive> s 阅读全文
posted @ 2018-09-11 13:47 打杂滴 阅读(578) 评论(0) 推荐(0) 编辑
2018年9月10日
摘要：
hive> use gamedw;OKTime taken: 0.049 secondshive> select current_database();OKgamedwTime taken: 0.485 seconds, Fetched: 1 row(s) scala> hivecon.sql("s 阅读全文
posted @ 2018-09-10 17:27 打杂滴 阅读(1735) 评论(0) 推荐(0) 编辑
摘要：
scala> import org.apache.spark.sql.hive.HiveContext import org.apache.spark.sql.hive.HiveContext scala> val hivecon=new HiveContext(sc) warning: there 阅读全文
posted @ 2018-09-10 13:19 打杂滴 阅读(94) 评论(0) 推荐(0) 编辑
2018年9月7日
摘要：
collect_set(x) 列转行函数 没有重复， 组装多列的数据的结构体collect_list(x) 列转行函数 可以有重复，组装多列的数据的结构体concat_ws 拼接函数， 用于多列转成同一行字段后，间隔符 UDF(User-Defined-Function) 用户定义（普通）函数，只对 阅读全文
posted @ 2018-09-07 16:10 打杂滴 阅读(191) 评论(0) 推荐(0) 编辑
摘要：
hive的数据模型包括：database、table、partition和bucket。 Hive 的架构设计与运行流程，及其各模块的主要作用，请画出架构图 Hive 支持的文件格式和压缩格式，及其各自的特点 Hive 内外表的区分方法，及内外表的差异点 未被external修饰的是内部表（mana 阅读全文
posted @ 2018-09-07 15:46 打杂滴 阅读(314) 评论(0) 推荐(0) 编辑
2018年9月6日
摘要：
永久环境变量配置： /etc/profile 对所有用户生效(永久的) /etc/bashrc 用户环境变量： ~/.bashrc 阅读全文
posted @ 2018-09-06 17:22 打杂滴 阅读(110) 评论(0) 推荐(0) 编辑
摘要：
HiveServer2是一个能使客户端针对hive执行查询的一种服务，与HiverServer1比较，它能够支持多个客户端的并发请求和授权的；HiveCLI 和 hive –e的方式比较单一，HS2允许远程客户端使用多种语言诸如Java,Python等向Hive提交请求，然后取回结果. $HIVE_ 阅读全文
posted @ 2018-09-06 16:20 打杂滴 阅读(3142) 评论(0) 推荐(0) 编辑
2018年8月31日
摘要：
数据量较少的情况下： scala> numrdd.sortBy(x=>x,false).take(3) res17: Array[Int] = Array(100, 99, 98) scala> numrdd.sortBy(x=>x,true).take(3) res18: Array[Int] = 阅读全文
posted @ 2018-08-31 17:53 打杂滴 阅读(753) 评论(0) 推荐(0) 编辑