随笔分类 - hive
摘要:一、外部表和内部表的区别 (1)创建表时指定external关键字,就是外部表,不指定external就是内部表 (2)内部表删除后把元数据和数据都删除了,外部表删除后只是删除了元数据,不会删除hdfs上的数据文件 (3)外部表创建表时通过location指定存放表数据的hdfs上的路径,而内部表是
阅读全文
摘要:Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内
阅读全文
摘要:#创建表人信息表 person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STOR
阅读全文
摘要:最近在学习使用Hive(版本0.13.1)的过程中,发现了一些坑,它们或许是Hive提倡的比关系数据库更加自由的体现(同时引来一些问题),或许是一些bug。总而言之,这些都需要使用Hive的开发人员额外注意。本文旨在列举我发现的3个通过查询语句向表中插入数据过程中的问题,希望大家注意。 为了验证接下
阅读全文
摘要:1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reduc
阅读全文
摘要:hive创建带有中文注释的表报错; character_set_database 需要设置成“latin1” 修改数据库编码: 为了支持Hive建表时插入中文注释 需要在MySQL中做如下设置: use hive; //修改字段注释字符集 alter table COLUMNS_V2 modify
阅读全文
摘要:启动hive-metastore和hive-server2 用beeline连接hive报错 确认已经赋予了hive用户在当前主机链接数据库的权限: 查看metastore的日志,报错信息如下: 由报错信息猜想hive元数据表创建失败,通过查看mysql中hive的元数据库,果真里面一张表都没有。
阅读全文
摘要:启动hivemetastore hive --service metastore 启动hiveserver2 hive --service hiveserver2 beeline !connect jdbc:hive2://172.16.145.124:10000 hive hive 后台运行 hi
阅读全文
摘要:我们在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的目录下,向该目录添加新文件的同时,该表也会读取到该文件(当然文件格式必须跟表定义的一致),删除外部表的同时并不会删除location指定目录下的文件. 1.查看hdfs系统目录/user/hado
阅读全文