HDFS
HDFS 概念
1、概念
1.1、 HDFS - Hadoop File distributed filesystem, HDFS以流式数据访问模式来存储超大文件。
1.2、
HDFS 以块的方式存储数据。
HDFS 集群有两类节点的模式运行,一类是namenode 用来管理节点,一类是工作节点datanode用来工作。
namenode 记录每个文件中每个快的数据节点信息,在内存中保存文件系统中每个文件和每个数据块的引用关系;
datanode 需要存储并检索数据块并定期向namenode 发送存储的列表;
2、基本操作
从本地文件系统将一个文件复制到HDFS:
hadoop fs -copyFromLocal input/text.txt \ hdfs:localhost/user/tom/test.txt
如果已经在core-site.xml 中指定了 URL的默认路径就可以如下
hadoop fs -copyFromLocal input/test.txt /user/tom/test.txt
将文件复制回本地文件系统,检查是否一致, 输入下面的第二条命令可以看到 MD5的值是一样的,说明文件一致
hadoop fs -copyFromLocal test.txt test.copy.txt
md input/docs/test.txt text.copy.text
在HDFS新建一个目录
hadoop fs -mkdir books hadoop fs -ls
2、 HDFS 的工作方式
2.1、文件读取
2.2、文件写入