摘要: 1、将hdfs客户端开发所需的jar导入工程(jar包可在hadoop安装包中找到common/hdfs) 2、写代码 要对hdfs中的文件进行操作,代码中首先需要获得一个hdfs的客户端对象 Configuration conf = new Configuration(); FileSystem 阅读全文
posted @ 2019-01-14 09:21 喵喵帕斯 阅读(165) 评论(0) 推荐(0) 编辑
摘要: hdfs的工作机制: 1、客户把一个文件存入hdfs,其实hdfs会把这个文件切块后,分散存储在N台linux机器系统中(负责存储文件块的角色:data node)<准确来说:切块的行为是由客户端决定的> 2、一旦文件被切块存储,那么,hdfs中就必须有一个机制,来记录用户的每一个文件的切块信息,及 阅读全文
posted @ 2019-01-14 09:00 喵喵帕斯 阅读(205) 评论(0) 推荐(0) 编辑