随笔分类 - hive
摘要：在Hive脚本中如果有 use db; #即使用数据库 最后一定要有一个exit;脚本，退出hive窗口 否则运行到最后，hive无法启动MR任务，只是卡在打印完成hive脚本处。 例子如下： exit为必备的退出语句。
阅读全文
摘要：优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解Hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效
阅读全文
摘要：Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区
阅读全文
摘要：执行如下命令启动hive服务：./bin/hive --service hiveserver，报如下错误：Starting Hive Thrift ServerException in thread "main" java.lang.NoSuchMethodError: org.apache.thr
阅读全文
摘要：函数如何使用：hive> desc concat_test;OKaintbstringhive> select * from concat_test;OK1good2other1nice1hellohive> select a,concat(b,',') from concat_test group...
阅读全文
