摘要: 配置远程登录1) 在自己的linux机上搭好hadoop,详细过程请参考:http://www.cnblogs.com/stardjyeah/p/4641554.html2) 修改linux的hosts文件# vim /etc/hosts在hosts文件的最下面一行添加,格式为:第一部份:网络IP地... 阅读全文
posted @ 2015-07-13 18:56 搞不清算法 阅读(5860) 评论(0) 推荐(0) 编辑
摘要: MapReduce原理图:MapReduce具体执行过程图:首先是客户端要编写好mapreduce程序,配置好mapreduce的作业也就是job,接下来就是提交job了,提交job是提交到JobTracker上的,这个时候JobTracker就会构建这个job,具体就是分配一个新的job任务的ID... 阅读全文
posted @ 2015-07-13 18:49 搞不清算法 阅读(5584) 评论(0) 推荐(0) 编辑
摘要: HDFS原理图:下面我们来写一个基于HDFS的demo,该demo主要实现的是将HDFS上的一个文件内容读取出来并保存到另一个文件上的功能。1.辅助类这个类主要是用来获取hdfs文件系统连接的public class HdfsUtils { /** * @return ... 阅读全文
posted @ 2015-07-13 18:44 搞不清算法 阅读(2625) 评论(0) 推荐(0) 编辑