2019年10月7日
访问HDFS文件系统
摘要： 一、命令行接口 默认操作的是hdfs hadoop dfsadmin -safemode leave/enter 离开或进入安全模式 hadoop fs -copyFromLocal localfrom hdfsdest 从本地文件系统复制文件到hdfs hadoop fs -ls 可以通过指定UR 阅读全文
posted @ 2019-10-07 20:39 FromScratch 阅读(904) 评论(0) 推荐(0) 编辑
mapreduce程序执行过程
摘要： 1、客户端程序，设置作业相关的配置和计算输入分片信息，向RM获取一个JOBID,提交作业信息（分片）到以作业ID为目录下，通知APP——MASTER 2、APP——MASTER，读取指定目录下的作业信息，根据分片信息，建立MAP 任务 MAP在输出时，会根据reducer的数量，在内存中分区，并使用 阅读全文
posted @ 2019-10-07 17:45 FromScratch 阅读(372) 评论(0) 推荐(0) 编辑
单词计数示例
摘要： 一、代码 import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configured;import org.apache. 阅读全文
posted @ 2019-10-07 17:12 FromScratch 阅读(212) 评论(0) 推荐(0) 编辑