2014年5月24日

Hadoop之使用python实现数据集合间join操作

摘要： hadoop之steaming介绍hadoop有个工具叫做steaming，能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言，其运行原理可以通过和标准java的map-reduce程序对比来说明：使用原生java语言实现Map-reduce... 阅读全文

posted @ 2014-05-24 16:45 berkeleysong 阅读(1300) 评论(0) 推荐(1) 编辑

如何用python写mapreduce

摘要： 转自：使用Python实现Hadoop MapReduce程序英文原文：Writing an Hadoop MapReduce Program in Python根据上面两篇文章，下面是我在自己的ubuntu上的运行过程。文字基本采用博文使用Python实现Hadoop MapReduce程序， 打... 阅读全文

posted @ 2014-05-24 16:44 berkeleysong 阅读(812) 评论(0) 推荐(0) 编辑

hadoop stream 使用心得

摘要： 1.概述Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或脚本文件作为Mapper和Reducer，例如： $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input /u... 阅读全文

posted @ 2014-05-24 16:40 berkeleysong 阅读(626) 评论(0) 推荐(1) 编辑

导航