摘要: hadoop RM 源码中关于ResourceManager的注释只有寥寥几句。大概意思就是管理集群所有的资源。 仔细看了下ResourceManager的方法列表,瞅到一mian()方法。 这里有一关键点,ResourceManager在启动时,首先调用父类init()方法,然后调用start() 阅读全文
posted @ 2016-05-25 22:46 傾聽雨落 阅读(393) 评论(0) 推荐(0) 编辑
摘要: 举一个例子:使用mapreduce统计一个月或者两个的日志文件,这里可能有大量的日志文件。如何快速的提取文件路径? 在HDFS中,可以使用通配符来解决这个问题。与linux shell的通配符相同。 例如: | Tables | Are | | |: :| | 2016/ | 2016/05 201 阅读全文
posted @ 2016-05-25 16:39 傾聽雨落 阅读(417) 评论(0) 推荐(0) 编辑
摘要: 读取文件 seek 读取 写文件 列出文件列表 删除文件 源码 如果删除文件夹需要 设置为true,如果未flase会抛出异常。 阅读全文
posted @ 2016-05-25 15:45 傾聽雨落 阅读(244) 评论(0) 推荐(1) 编辑