摘要: set hive.cli.print.header=true; -- 显示字段名称 set hive.cli.print.current.db=true; -- 显示当前数据库名 drop database dbname CASCADE; -- 删除数据库及库中表 alter database dbname set dbproperties(key=value); -- 设置数据库元数据 alt... 阅读全文
posted @ 2019-02-12 17:32 Mars.wang 阅读(207) 评论(0) 推荐(0) 编辑
摘要: 数据倾斜是进行大数据计算时常见的问题。主要分为map端倾斜和reduce端倾斜,map端倾斜主要是因为输入文件大小不均匀导致,reduce端主要是partition不均匀导致。 在hive中遇到数据倾斜的解决办法: 一、倾斜原因:map端缓慢,输入数据文件多,大小不均匀 当出现小文件过多,需要合并小 阅读全文
posted @ 2019-02-12 11:13 Mars.wang 阅读(13539) 评论(0) 推荐(1) 编辑