HDFS 基本操作
启动 TDH Client
// 进入 TDH-Client 目录下
cd /transwarp/Desktop/TDH-Client
// 执行 TDH Client 的 init.sh 脚本,此操作只对当前 Session 有效source ./init.sh
查看目录
//在 HDFS 上查看实验目录/training 下文件及目录结构。
hadoop fs -ls /training
创建目录
//在 HDFS 上创建目录“/training/{student_name}/hdfs_data”。
// 创建 HDFS 目录
hadoop fs -mkdir -p /training/hanwenhao/hdfs_data
修改目录权限
//将 HDFS 目录“/training/{student_name}/hdfs_data”的权限改为“rwxrwxrwx”。
hadoop fs -chmod -R 777 /training/hanwenhao/hdfs_data
上传文件
//在本地准备测试文件 file01,并上传到 HDFS 目录“/training/{student_name}/hdfs_data”中。
// 创建测试文件 file01,并将测试内容写入文件
echo "Hello Hadoop File System" > file01
// 上传测试文件 file01 至 HDFShadoop fs -put file01 /training/hanwenhao/hdfs_data
查看目录内容
//查看 HDFS 目录“/ training/{student_name}/hdfs_data”的内容,检查测试文件 file01 是否上传成功。
hadoop fs -ls / training/hanwenhao/hdfs_data
查看文件内容
//查看 HDFS 文件“/ training/{student_name}/hdfs_data/file01”的内容。
hadoop fs -cat / training/hanwenhao/hdfs_data/file01
通过 Web 查看目录和文件数据块
//通过 Transwarp Manager 浏览 HDFS 目录,并找到文件“/training/{student_name}/hdfs_data /file01”的 Block
信息。
- 登录 Transwarp Manager
- 进入 HDFS 服务,点击左侧“角色”按钮
- 点击 Namenode 后面的“Link”,确保进入的是 Active Namenode
- 点击菜单项“Utilities/Browse the file system”,浏览 HDFS 目录
- 找到文件“/ training/hanwenhao/hdfs_data/file01”
- 查看文件的 Block 信息