摘要:
Hive基础语法 1、创建表 – 用户表 hive目前支持三种方式: 1)就是最普通的textfile,数据不做压缩,磁盘开销大,解析开销也大 2)SquenceFIle,hadoop api提供的一种二进制API方式,其具有使用方便、可分割、可压缩等特点。 3)rcfile行列存储结合的方式,它会 阅读全文
随笔分类 - 1.2.├─ Hive
Hive数据倾斜
2016-05-02 14:06 by 猎手家园, 464 阅读, 收藏, 编辑
摘要:
倾斜的原因: 使map的输出数据更均匀的分布到reduce中去,是我们的最终目标。由于Hash算法的局限性,按key Hash会或多或少的造成数据倾斜。大量经验表明数据倾斜的原因是人为的建表疏忽或业务逻辑可以规避的。 解决思路: Hive的执行是分阶段的,map处理数据量的差异取决于上一个stage 阅读全文
Hive错误:Unable to load native-hadoop library for your platform
2016-05-02 13:30 by 猎手家园, 779 阅读, 收藏, 编辑
摘要:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableStarting namenodes on 阅读全文
Hive的安装与配置
2016-05-02 13:28 by 猎手家园, 890 阅读, 收藏, 编辑
摘要:
1、因为我使用MySQL做为Hive的元数据库,所以先安装MySQL。 参考:http://www.cnblogs.com/hunttown/p/5452205.html 登录命令:mysql -h主机地址 -u用户名 -p用户密码 修改密码 格式:mysqladmin -u用户名 -p旧密码 pa 阅读全文