2015年3月25日
记一次数据处理效率优化过程
摘要： 我们最原始的产品使用hive来进行数据分析和处理，由于我们的业务模型所限制，往往需要经过多轮的MR来完成任务，经过多轮的优化，虽然取得了一定的成果，但是执行速度还是不能满足产品的要求。 其实，当时考虑使用hive，是由于其基于SQL良好的扩展性为前提的，也就是说，以后我们在增加功能的时候，... 阅读全文
posted @ 2015-03-25 14:19 clamaa 阅读(408) 评论(0) 推荐(0) 编辑