Hadoop点滴-HDFS文件系统
1、HDFS中,目录作为元数据,保存在namenode中,而非datanode中
2、HDFS的文件权限模型与POSIX的权限模式非常相似,使用 r w x
3、HDFS的文件执行权限(X)可以忽略,因为你不能在hdfs中执行文件
Hadoop有一个抽象系统的概念,而HDFS只是其中的一个实现,支持的文件系统有:
文件系统 | URI方案 | Java实现(都在org.apache.hadoop包中) | 描述 |
Loca | file | fs.LocalFileSystem | 使用客户端校验和 的本地文件系统 |
HDFS | hdfs | ||
WebHDFS | Webhdfs | ||
Secure WebHDFS | swebhdfs | ||
HAR | har | ||
View | viewfs | ||
FTP | ftp | ||
S3 | S3a | ||
Azure | wasb | ||
Swift | swift |
如:通过HDFS命令显示本地文件系统信息
hdfs dfs -ls file:///
4、接口
1、HTTP
通过WebHDFS协议提供HTTP REST API,但较java客户端要慢;
启动 ./httpfs.sh start
浏览器访问 http://192.168.0.10:14000/
2、C语言
开发进度要落后于java
3、NFS
使用Hadoop的NFSv3网关,将HDFS挂载为本地客户端的文件系统是可行的,可以在文件末尾最佳数据,但不能随机修改数据