Mars.wang

摘要： set hive.cli.print.header=true; -- 显示字段名称 set hive.cli.print.current.db=true; -- 显示当前数据库名 drop database dbname CASCADE; -- 删除数据库及库中表 alter database dbname set dbproperties(key=value); -- 设置数据库元数据 alt... 阅读全文

摘要： 数据倾斜是进行大数据计算时常见的问题。主要分为map端倾斜和reduce端倾斜，map端倾斜主要是因为输入文件大小不均匀导致，reduce端主要是partition不均匀导致。 在hive中遇到数据倾斜的解决办法： 一、倾斜原因：map端缓慢，输入数据文件多，大小不均匀 当出现小文件过多，需要合并小 阅读全文