2014年2月21日

hadoop streaming 文档

摘要: Hadoop Streaming框架使用(一)Streaming简介Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用,方便已有程序向Hadoop平台移植。因此可以说对于hadoop的扩展性意义重大,今天简单说一下。Streaming的原理是用Java实现一个包装用户程序的MapReduce程序,该程序负责调用MapReduce Java接口获取key/value对输入,创建一个新的进程启动包装的用户程序,将数据通过管道传递给包装的用户程序处理,然后调用MapReduce Java接口将用户程序的输出切分成key/value对输出。Streaming优点1 阅读全文

posted @ 2014-02-21 13:06 zjgtan 阅读(289) 评论(0) 推荐(0) 编辑

导航