2012年3月24日

再见了Hadoop MapReduce

摘要: 再见MapReduce,欢迎Cascading的到来我们最近作了大量的hadoop MapReduce处理,并且我们很快意识到手动编写MapReduce代码是多么痛苦的一件事情。在一些场景应用中我们的流程需要多达10个MapReduce作业的顺序执行,需要手动协调多个作业的中间数据和执行顺序。此外,任何有做过MapReduce工作流的人都知道基于MapReduce的思维是一件多么困难的事情。幸运的是,我们发现了新发现了一个名为Cascading伟大的开源项目,使用它能够减少我们的痛苦。Cascading是一个Chris Wensel先生智慧的产物,Chris Wensel先生作了很多优秀的开发 阅读全文

posted @ 2012-03-24 10:03 reck for zhou 阅读(873) 评论(0) 推荐(2) 编辑

Hive Meta Table介绍

摘要: HIVE Meta数据表介绍 阅读全文

posted @ 2012-03-24 08:25 reck for zhou 阅读(751) 评论(0) 推荐(0) 编辑

hive meta sql

摘要: Hive是一个在HADOOP平台进行大规模分布式数据分析的工具,有点类似数据仓库工具。 Hive Meta信息一般存储在关系型数据库中,用于存储hive表的结构,字段,partition等信息。 阅读全文

posted @ 2012-03-24 08:24 reck for zhou 阅读(691) 评论(0) 推荐(0) 编辑

2012年3月22日

hadoop Namenode和DataNode架构分析

摘要: hadoop HDFS架构 阅读全文

posted @ 2012-03-22 21:33 reck for zhou 阅读(1363) 评论(0) 推荐(0) 编辑

HBase介绍

摘要: hbase场景介绍 阅读全文

posted @ 2012-03-22 17:40 reck for zhou 阅读(3168) 评论(1) 推荐(1) 编辑

Lucene自定义分词算法实现

摘要: lucene分词介绍 阅读全文

posted @ 2012-03-22 16:44 reck for zhou 阅读(2258) 评论(1) 推荐(0) 编辑

利用mrunit进行hadoop map/reduce单元测试

摘要: hadoop map/reduce单元测试 阅读全文

posted @ 2012-03-22 08:36 reck for zhou 阅读(945) 评论(1) 推荐(0) 编辑

hadoop shell命令远程提交

摘要: hadoop shell命令远程提交机制的实现 阅读全文

posted @ 2012-03-22 08:26 reck for zhou 阅读(996) 评论(0) 推荐(0) 编辑

2012年3月21日

hadoop安装部署

摘要: hadoop 安装和部署 阅读全文

posted @ 2012-03-21 14:02 reck for zhou 阅读(2321) 评论(4) 推荐(1) 编辑

vaidya安装和应用

摘要: vaidya安装和应用,针对hadoop map/reduce优化应用 阅读全文

posted @ 2012-03-21 11:48 reck for zhou 阅读(996) 评论(0) 推荐(0) 编辑

导航