摘要:
set hive.cli.print.header=true; -- 显示字段名称 set hive.cli.print.current.db=true; -- 显示当前数据库名 drop database dbname CASCADE; -- 删除数据库及库中表 alter database dbname set dbproperties(key=value); -- 设置数据库元数据 alt... 阅读全文
摘要:
数据倾斜是进行大数据计算时常见的问题。主要分为map端倾斜和reduce端倾斜,map端倾斜主要是因为输入文件大小不均匀导致,reduce端主要是partition不均匀导致。 在hive中遇到数据倾斜的解决办法: 一、倾斜原因:map端缓慢,输入数据文件多,大小不均匀 当出现小文件过多,需要合并小 阅读全文