Hive优化总结

hive调优涉及到压缩和存储调优，参数调优，sql的调优，数据倾斜调优，小文件问题的调优等。

  1. 压缩调优：一般选择orcfile/parquet + snappy方式
  2. 存储调优：合理设计表，充分利用分区和分桶建表
  3. 参数调优
  4. HQL调优
  5. 数据倾斜调优
  6. 小文件处理调优
posted @ 2021-11-23 16:07  民宿  阅读(43)  评论(0)    收藏  举报