1.HDFS - 随笔分类 - CJZhaoSimons

HDFS文件系统的JAVA-API操作(一)

摘要：使用java.net.URL访问HDFS文件系统 HDFS的API使用说明： 1.如果要访问HDFS，HDFS客户端必须有一份HDFS的配置文件也就是hdfs-site.xml,从而读取Namenode的信息。 2.每个应用程序也必须拥有访问Hadoop程序的jar文件 3.操作HDFS,也就是H 阅读全文

posted @ 2017-03-20 14:22 CJZhaoSimons 阅读(15890) 评论(0) 推荐(2) 编辑

HDFS体系结构(NameNode、DataNode详解)

摘要：hadoop项目地址:http://hadoop.apache.org/ NameNode、DataNode详解 (一)分布式文件系统概述数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就阅读全文

posted @ 2017-03-05 19:05 CJZhaoSimons 阅读(32663) 评论(2) 推荐(10) 编辑

SequenceFile实例操作

摘要：HDFS API提供了一种二进制文件支持，直接将<key,value>对序列化到文件中，该文件格式是不能直接查看的，可以通过hadoop dfs -text命令查看，后面跟上SequenceFile的HDFS路径通过写入SequenceFile和读入SequenceFile文件，打成jar包在Ha 阅读全文

posted @ 2017-01-30 20:19 CJZhaoSimons 阅读(1002) 评论(0) 推荐(0) 编辑

HDFS 命令深入浅出

摘要：HDFS 命令深入浅出~ [root@neusoft-master ~]# hadoop dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] 阅读全文

posted @ 2017-01-28 12:37 CJZhaoSimons 阅读(2451) 评论(0) 推荐(0) 编辑

HDFS的Java客户端操作代码(查看HDFS下所有的文件存储位置信息)

摘要：1.查看HDFS下所有的文件存储位置信息 1 package Hdfs; 2 3 import java.net.URI; 4 import org.apache.hadoop.conf.Configuration; 5 import org.apache.hadoop.fs.BlockLocati 阅读全文

posted @ 2017-01-09 23:41 CJZhaoSimons 阅读(733) 评论(0) 推荐(0) 编辑

Mr.Zhao

---做好每一件小事

随笔分类 - 1.HDFS

公告