2012年3月24日

再见了Hadoop MapReduce

摘要： 再见MapReduce，欢迎Cascading的到来我们最近作了大量的hadoop MapReduce处理，并且我们很快意识到手动编写MapReduce代码是多么痛苦的一件事情。在一些场景应用中我们的流程需要多达10个MapReduce作业的顺序执行，需要手动协调多个作业的中间数据和执行顺序。此外，任何有做过MapReduce工作流的人都知道基于MapReduce的思维是一件多么困难的事情。幸运的是，我们发现了新发现了一个名为Cascading伟大的开源项目，使用它能够减少我们的痛苦。Cascading是一个Chris Wensel先生智慧的产物，Chris Wensel先生作了很多优秀的开发 阅读全文

posted @ 2012-03-24 10:03 reck for zhou 阅读(877) 评论(0) 推荐(2) 编辑

Hive Meta Table介绍

摘要： HIVE Meta数据表介绍 阅读全文

posted @ 2012-03-24 08:25 reck for zhou 阅读(754) 评论(0) 推荐(0) 编辑

hive meta sql

摘要： Hive是一个在HADOOP平台进行大规模分布式数据分析的工具，有点类似数据仓库工具。 Hive Meta信息一般存储在关系型数据库中，用于存储hive表的结构，字段，partition等信息。 阅读全文

posted @ 2012-03-24 08:24 reck for zhou 阅读(694) 评论(0) 推荐(0) 编辑

导航