hdfs挂载分布式存储
参考资料：https://cloud.tencent.com/developer/article/1078538
1.
选中实例启动
启动成功
在Linux下挂载NFS文件系统
由于机器有限，这里选择集群任意节点进行NFS挂载。
1.在61上操作
yum -y install nfs-utils*
mkdir /hdfs_nfs_mount
mount -t nfs -o vers=3,proto=tcp,nolock 192.168.1.63:/ /hdfs_nfs_mount
df -h
hadoop fs -ls /
[root@node61 ~]# cd /hdfs_nfs_mount/
[root@node61 hdfs_nfs_mount]# ls
tmp user
自动挂载NFS文件系统
编辑/etc/fstab文件，在文件最后行增加如下配置
vim /etc/fstab
192.168.1.63:/ /hdfs_nfs_mount nfs defaults 0 0
向分布式存储put文件
echo 1 >a.txt
hadoop fs -put a.txt /tmp
cat /hdfs_nfs_mount/tmp/a.txt
[root@node61 ~]# mkdir test
[root@node61 ~]# hadoop fs -put test /tmp #put是上传get是下载
hadoop fs -rm /text #删除文件可以加-r递推
改变副本数
[root@node61 data1]# hadoop fs -setrep 2 /data/1.txt
Replication 2 set: /data/1.txt
[root@node61 data1]# hadoop fs -stat %r /data/1.txt
2
[root@node61 data1]# hadoop fs -stat %r /data/zsl.txt
[root@node61 data1]# hadoop fs -stat %r /data1/b.txt #默认是3份
3
[root@node61 data1]# hadoop fs -setrep -w 1 /data1/b.txt #等待副本数调整完成
chmod 777 /hdfs_nfs_mount/tmp/test/
创建可执行文件夹 没有权限可以在主机上执行
[root@master63 ~]# hdfs dfs -mkdir /data
mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
[root@master63 ~]# su hdfs
hdfs dfs -chmod 777 / #给根目录777权限其他用户才能读写
[hdfs@master63 root]$ hdfs dfs -mkdir /data
[hdfs@master63 root]$ hdfs dfs -chmod 777 /data #给777其他用户才能正常读写
vi /etc/hadoop/conf.cloudera.hdfs/hdfs-site.xml
42 <name>dfs.namenode.acls.enabled</name>
43 <value>true</value>
权限管理参考
https://blog.csdn.net/sudaxhh/article/details/52334652
http://blog.sina.com.cn/s/blog_1622ceba80102x516.html
http://cache.baiducontent.com/c?m=9f65cb4a8c8507ed19fa950d100b92235c4380146d8b804b2281d25f93130a1c187babe1747f515dce87616100a44a5ce1f62172405966e8c5dccd179ded9d7d78ce30350048d5104cc418dfdc4756d620e11cb3f80ee7cba363cdb9d2a28216048a004321ddac9c5a714e992ee71440b3f1ce14025f61faba6832ae1f207f882230a1478ef7321f46c6b49f010c853dd01045caef22b04f41e44de5081b551ef30da608207667b71330ff356b5fd3b8&p=8b2a9715d9c041ad18b6dc66115ec9&newp=882a9645d4af00eb40a2df2d02148b231610db2151d4d7176b82c825d7331b001c3bbfb423261100d2c2776204ac4b5eedfb3571350523a3dda5c91d9fb4c57479e466706853cd&user=baidu&fm=sc&query=getfacl%3A+The+ACL+operation+has+been+rejected%2E++Support+for+ACLs+has+been+disabled+by+setting+dfs%2Enam&qid=81b55fb50000f8ec&p1=1
hdfs dfs -setfacl -m default:group::rwx /
hdfs dfs -getfacl /
高可用参考
https://blog.csdn.net/weixin_40803329/article/details/80800840
https://www.jianshu.com/p/3b33e9bbf7ea
exsi6.5 挂载hdfs共享
windows2008挂载nfs
cmd下运行
servermanagercmd.exe -install FS-NFS-Services
net use /persistent:yes #永久映射
C:\Users\Administrator>mount 192.168.1.63:/ f:
f: 现已成功连接到 192.168.1.63:/
命令已成功完成。
C:\Users\Administrator>umount f:
正在断开 f: \\192.168.1.63\
命令已成功完成。
