随笔分类 - Hadoop Hive概念学习系列
摘要：不多说，直接上干货！ 我这里，是借助MySQL，将Hive这个组件的元数据存在MySQL里，命名为hive_metadata。 注意如下： 与 是完全不一样。 以下是链接到Hive里的hive_metadata 以下是链接到Linux里的MySQL 好好的理清和对比学习。 欢迎大家，加入我的微信公众
阅读全文
摘要：Impala和Hive的关系 Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。 与Hive
阅读全文
摘要：前期博客 你可以按照我写的这篇博客去，按照hive的mysql。 1 复习ha相关 + weekend110的hive的元数据库mysql方式安装配置（完全正确配法）（CentOS版本）（包含卸载系统自带的MySQL） 出现如下问题 ERROR 1045 (28000): Access denied
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 分桶是细粒度的，分桶是不
阅读全文
摘要：HBase里的4维坐标系统（第一步定位行键 -> 第二步定位列簇 -> 第三步定位列修饰符 -> 第四步定位时间戳） HBase里的4维坐标系统（第一步定位行键 -> 第二步定位列簇 -> 第三步定位列修饰符 -> 第四步定位时间戳） 行键，相当于第一步级索引。 列簇，相当于第二步级索引。 列修饰符
阅读全文
摘要：Hive与JDBC示例 在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。在hive安装目录下的bin，使用下面命令进行开启: hive -service hiveserver & //Hive低版本提供的服务是：Hiveserver hive --service
阅读全文
摘要：hive与环境的交互，算是一个小知识点，但掌握不菲！ 如何在hive里，也达到这样呢？ 不需要这样啦，因为，hive是建立在hadoop之上，启动hive，相当于，就是，hadoop jar ** hive > dfs -ls /; 可以看看这篇，hive与依赖环境的交互
阅读全文
摘要：相当一部分人，容易忽略hive脚本，其实，这在生产环境里，是非常重要的！ $ hive -e "show tables" $ hive -e "show tables " >> aa $ hive -e "show tables " > aa $ hive -S -e "show tables" >
阅读全文
摘要：这个小知识点，看似简单，用处极大。 $ hive --hiveconf hive.cli.print.current.db=true $ hive --hiveconf hive.cli.print.header=true hive参数的使用 hive > create table t5(name
阅读全文
摘要：Hive总结（七）Hive四种数据导入方式 （强烈建议去看） Hive几种数据导出方式 https://www.iteblog.com/archives/955 （强烈建议去看） 把MySQL里的数据导入到HDFS 1、使用MySQL工具手工导入 把MySQL的导出数据导入到HDFS的最简单方法就是
阅读全文
摘要：Hive可以通过实现用户定义函数（User-Defined Functions，UDF）进行扩展（事实上，大多数Hive功能都是通过扩展UDF实现的）。想要开发UDF程序，需要继承org.apache.hadoop.ql.exec.UDF类，并重载evaluate方法。Hive API提供@Desc
阅读全文
摘要：《Spark最佳实战 陈欢》写的这本书，关于此知识点，非常好，在94页。 hive里的扩展接口，主要包括CLI（控制命令行接口）、Beeline和JDBC等方式访问Hive。 CLI和Beeline都是交互式用户接口，并且功能相似，但是语法和实现不同。 JDBC是一种类似于编程访问关系型数据库的编程
阅读全文
摘要：Hive的操作与传统关系型数据库SQL操作十分类似。 Hive主要支持以下几类操作： DDL 1、DDL：数据定义语句，包括CREATE、ALTER、SHOW、DESCRIBE、DROP等。 详细点，就是 Hive支持大量SQL数据定义语言（Data Definition Language，DDL）
阅读全文
摘要：在一些特定的业务场景下，使用hive默认的配置对数据进行分析，虽然默认的配置能够实现业务需求，但是分析效率可能会很低。 Hive有针对性地对不同的查询进行了优化。在Hive里可以通过修改配置的方式进行优化。 以下，几种方式调优的属性。 1、列裁剪 在通过Hive读取数据的时候，并不是所有的需求都要获
阅读全文
摘要：Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。 Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量。 在可以预见到分区数据非常庞大的情况下，索引常常是优于分区的。 博主我推荐各位博
阅读全文
摘要：不多说，直接上干货！ 可以先，从MySQL里的视图概念理解入手 视图是由从数据库的基本表中选取出来的数据组成的逻辑窗口，与基本表不同，它是一个虚表。在数据库中，存放的只是视图的定义，而不存放视图包含的数据项，这些项目仍然存放在原来的基本表结构中。 视图可以被定义为多个表的连接，也可以被定义为只有部分
阅读全文
摘要：不多说，直接上干货！ Hive还可以把表或分区，组织成桶。将表或分区组织成桶有以下几个目的： 第一个目的是为看取样更高效，因为在处理大规模的数据集时，在开发、测试阶段将所有的数据全部处理一遍可能不太现实，这时取样就必不可少。 第二个目的是为了获得更好的查询处理效率。 桶为了表提供了额外的结构，Hiv
阅读全文
摘要：由客户端提交的HiveQL语句将最终被转换为一个或多个MapReduce任务并提交由Hadoop执行。不包含聚合和连接的简单SELECT语句可以使用一个单独的只包含Map阶段的任务实现。使用GROUP BY子句的聚合可以使用一个独立的MapReduce任务实现。包含大量多表连接的复杂查询需要依靠多个
阅读全文
摘要：为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。 分区是表的部分列的集合，可以为频繁使用的数据建立分区，这样查找分区中的数据时就不需要扫描全表，这对于提高查找效率很有帮助。 分区是一种根据“分区列”（partition column）的值对表进行粗略划分的机制。Hive中的每
阅读全文
摘要：hive里的索引是什么？ 索引是标准的数据库技术，hive 0.7版本之后支持索引。Hive提供有限的索引功能，这不像传统的关系型数据库那样有“键(key)”的概念，用户可以在某些列上创建索引来加速某些操作，给一个表创建的索引数据被保存在另外的表中。 Hive的索引功能现在还相对较晚，提供的选项还较
阅读全文
