随笔- 807 文章- 150 评论- 23 阅读- 151万

随笔分类 - Hadoop 2-0 SQL查询引擎 Hive

摘要：今天总结本人在使用Hive过程中的一些优化技巧，希望给大家带来帮助。Hive优化最体现程序员的技术能力，面试官在面试时最喜欢问的就是Hive的优化技巧。技巧1.控制reducer数量下面的内容是我们每次在hive命令行执行SQL时都会打印出来的内容： In order to change the 阅读全文

posted @ 2019-11-13 17:55 xibuhaohao 阅读(346) 评论(0) 推荐(0) 编辑

Hive 模式设计

摘要：Hive看上去很像关系型数据库。不过，Hive实现和使用的方式和传统的关系型数据库非常不同。Hive是反模式的。本文将重点介绍Hive中哪些模式是用户应该使用的，儿哪些是应该避免的一、按天划分的表这种每天一张表的方式在数据库领域是反模式的一种方式，但因为实际情况下，数据集增长的很快，这种方式应阅读全文

posted @ 2019-11-13 12:01 xibuhaohao 阅读(834) 评论(0) 推荐(0) 编辑

HiveQL Index 索引

摘要：Hive只有有限的索引功能。Hive中没有普通关系型数据库中键的概念，但是还是可以对一些字段建立索引来加速某些操作。一张表的索引数据存储在另外一张表中。通过explain命令可以查看某个查询语句是否用到了索引。一、创建索引比如，有数据表: create table employees( nam 阅读全文

posted @ 2019-11-08 15:48 xibuhaohao 阅读(549) 评论(0) 推荐(0) 编辑

Hive view 视图

摘要：一、动态分区中的视图和map类型阅读全文

posted @ 2019-11-08 15:14 xibuhaohao 阅读(746) 评论(0) 推荐(0) 编辑

HiveQL 查询

摘要：一、select ...... from 语句 1、使用正则表达式来指定列 1）从表stocks中选择symbol列和列名以price作为前缀的列 select symbol,`price.*` from stocks; 2、使用列名进行计算 3、算术运算 4、使用函数 1）数学函数 2）聚合函数阅读全文

posted @ 2019-11-07 17:38 xibuhaohao 阅读(297) 评论(0) 推荐(0) 编辑

Hive 实现update和delete（转载）

摘要：原文链接：https://blog.csdn.net/xueyao0201/article/details/79387647 因为业务要求，需要对Hive表进行delete，在官网查询后，发现update和delete是一类问题。在此总结下如何实现Hive表的delete和update。首先，先看阅读全文

posted @ 2019-11-07 14:33 xibuhaohao 阅读(2813) 评论(0) 推荐(0) 编辑

HiveQL 数据装在与导出

摘要：一、向管理表中装载数据 1、向表中装载数据load 1）load语法 2）LOCAL 指的是操作系统的文件路径，否则默认为HDFS的文件路径 3）overwrite关键字如果用户指定了overwrite关键字，那么目标文件夹中之前存在的数据将会被先删除掉。如果指定，仅仅会把新增的文件增加到目标文阅读全文

posted @ 2019-11-07 14:31 xibuhaohao 阅读(203) 评论(0) 推荐(0) 编辑

Hive 数据类型与文件格式

摘要：一、基本数据类型 1、基本数据类型 Tinyint 1byte有符号整数比如20 Smalint 2byte有符号整数比如20 Int 4byte有符号整数比如20 Bigint 8byte有符号整数比如20 Boolean 布尔类型，true或者false Float 单精度浮点类型 3. 阅读全文

posted @ 2019-11-07 14:12 xibuhaohao 阅读(473) 评论(0) 推荐(0) 编辑

Hadoop上 Hive 操作

摘要：数据dept表的准备：数据文件准备：数据表emp准备：表emp数据准备：把数据文件装到表里查询语句二、Hive分区hive分区的目的 * hive为了避免全表扫描，从而引进分区技术来将数据进行划分。减少不必要数据的扫描，从而提高效率。 hive分区和mysql分区的区别 * mysql分阅读全文

posted @ 2019-11-01 10:45 xibuhaohao 阅读(225) 评论(0) 推荐(0) 编辑

Hive-2.3.6 安装

摘要：本安装依赖Haddop2.8安装 https://www.cnblogs.com/xibuhaohao/p/11772031.html 一、下载Hive与MySQL jdbc 连接驱动 apache-hive-2.3.6-bin.tar.gz 官方网站 mysql-connector-java-5. 阅读全文

posted @ 2019-10-31 17:16 xibuhaohao 阅读(3317) 评论(0) 推荐(0) 编辑

Hadoop 格式化namenode时报错警告：WARN common.Util: Path /data/dfs/name should be specified as a URI in configuration

摘要：格式化namenode时报错警告：WARN common.Util: Path /data/dfs/name should be specified as a URI in configuration 一、问题分析在执行hadoop namenode格式化命令：bin/hadoop namenod 阅读全文

posted @ 2019-10-31 16:56 xibuhaohao 阅读(1886) 评论(0) 推荐(0) 编辑

Hadoop2.8 安装

摘要：一、下载Hadoop与java jdk-8u221-linux-x64.tar.gz Oracle官网下载 hadoop-2.8.5.tar.gz Hadoop官网下载二、配置服务期间ssh免密互通使用如下互信安装脚本 https://www.cnblogs.com/xibuhaohao/p/1 阅读全文

posted @ 2019-10-31 16:32 xibuhaohao 阅读(554) 评论(0) 推荐(0) 编辑

Hive ACID和事务表支持详解

摘要：一、ACID介绍 ACID就是常见数据库事务的四大特性：Atomicity(原子性)、Consistency（一致性）、Isolation（隔离性）、Durability（持久性）。在Hive 0.13之前，Hive支持分区级别上原子性、一致性、持久性，隔离性可以通过hive提供的锁机制来实现（通阅读全文

posted @ 2019-08-22 10:41 xibuhaohao 阅读(3077) 评论(0) 推荐(1) 编辑