2013年4月19日

Hadoop笔记<一>

摘要: 一.hadoop作业的运行方式编写MR作业之后需要将代码打成jar包,hadoop会在集群上分发该作业jar包。当用hadoop jar运行一个非MR作业时(写了的一个存储程序,在指定端口接受连接,然后存到hadoop集群中),hadoop不会再集群上分发该jar文件(因为不是MR作业),只会在运行该任务的机器上执行该程序。1.在windows上编写调试程序,然后用eclipse打包工具打成jar包,没有直接打成可运行的jar包,因为那样会把用到的多有的jar包打进来,程序文件很大,而hadoop集群上有这些jar包,所以多此一举,然后再jar包的资源清单文件中添加Main-Class项,然后 阅读全文

posted @ 2013-04-19 19:46 waxili 阅读(313) 评论(0) 推荐(0) 编辑

导航