随笔分类 -  HIVE

大数据组件之HIVE
摘要:DROP时 内部表:元数据和数据本是都由HIVE自己掌控,内部表被删除后元数据和HDSF上的数据文件都将被删除,一般 外部表:外部表只删除元数据,不删除路径下的文件,重新创建该路径下的表时可以恢复数据 LOAD加载数据时 内部表:会把数据移动到自己指定的路径下 外部表:会把数据移动到自己指定的路径之 阅读全文
posted @ 2020-01-04 11:13 一只竹节虫 阅读(553) 评论(0) 推荐(0) 编辑
摘要:1、什么是数据倾斜? 由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点 回到顶部 2、Hadoop 框架的特性 A、不怕数据大,怕数据倾斜 B、Jobs 数比较多的作业运行效率相对比较低,如子查询比较多 C、 sum,count,max,min 等聚集函数,通常不会有数据倾斜问题 回到顶部 阅读全文
posted @ 2019-12-25 17:38 一只竹节虫 阅读(163) 评论(0) 推荐(0) 编辑
摘要:LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 第一个参数为列名,第二个参数为往上第n行(可选,默认为1),第三个参数为默认值(当往上第n行为NULL时候,取默认值,如不指定,则为NULL) 与LAG相反 LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值 第一个参 阅读全文
posted @ 2019-12-25 17:06 一只竹节虫 阅读(221) 评论(0) 推荐(0) 编辑
摘要:1、Hive支持的一些命令 退出使用quit或exit离开交互式外壳。 set key = value使用它来设置特定配置变量的值。 这里要注意的一件事是,如果您对变量名拼写错误,cli将不会显示错误。 set这将打印由用户或配置单元覆盖的配置变量列表。 set -v这将打印所有hadoop和hiv 阅读全文
posted @ 2019-12-24 20:53 一只竹节虫 阅读(1131) 评论(0) 推荐(0) 编辑
摘要:SUM--sum(汇总字段) over (partition by 分组字段 order by 排序字段) 如果不指定ROWS BETWEEN,默认为从起点到当前行;如果不指定ORDER BY,则将分组内所有值累加;关键是理解ROWS BETWEEN含义,也叫做WINDOW子句:PRECEDING: 阅读全文
posted @ 2019-12-24 20:13 一只竹节虫 阅读(1452) 评论(0) 推荐(0) 编辑
摘要:-- 1、hive取得当前日期时间: -- 1.1) 取得当前日期: select current_date(); -- 1.2) 取得当前日期时间: select current_timestamp(); -- 1.3) hive取得当前时间戳: select unix_timestamp(); 阅读全文
posted @ 2019-12-19 19:25 一只竹节虫 阅读(2319) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/skywalker_only/article/details/38752003 条件函数 下表为Hive支持的一些条件函数。 返回类型 函数名 描述 T if(boolean testCondition, T valueTrue, T valueFalse 阅读全文
posted @ 2019-12-19 19:17 一只竹节虫 阅读(323) 评论(0) 推荐(0) 编辑
摘要:读时模式:HIVE加载数据时不校验,查询数据时才校验,与数据库相反 阅读全文
posted @ 2019-12-19 17:20 一只竹节虫 阅读(189) 评论(0) 推荐(0) 编辑
摘要:二、视图 1、Hive 的视图和关系型数据库的视图区别 和关系型数据库一样,Hive 也提供了视图的功能,不过请注意,Hive 的视图和关系型数据库的数据还是有很大的区别: (1)只有逻辑视图,没有物化视图; (2)视图只能查询,不能 Load/Insert/Update/Delete 数据; (3 阅读全文
posted @ 2019-12-17 17:37 一只竹节虫 阅读(323) 评论(0) 推荐(0) 编辑
摘要:HIVE建内部表语句 create table dll102.sougou (id string,pwd string,name string,count int,seqno int,address string) row format delimited fields terminated by 阅读全文
posted @ 2019-12-09 17:08 一只竹节虫 阅读(4410) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-12-07 10:37 一只竹节虫 阅读(138) 评论(0) 推荐(0) 编辑
摘要:一.root 用户 解压安装包 二 chown -R hadoop:hadoop apache-hive-1.2.2-bin/ chmod -R 755 apache-hive-1.2.2-bin/ 三.切换 hadoop用户 启动hadoop集群 四.打开hive目录,运行./bin/hive H 阅读全文
posted @ 2019-12-06 15:57 一只竹节虫 阅读(452) 评论(0) 推荐(0) 编辑
摘要:先放结论:Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。一、区别:Hbase: Hadoop database 的简称,也就是基于Hadoop数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿) 阅读全文
posted @ 2019-12-04 10:10 一只竹节虫 阅读(249) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示