5.Hadoop HDFS 命令

合集 - Python+Spark+hadoop 机器学习与大数据技术实战(10)

1.0.Python+Spark+Hadoop 机器学习与大数据技术2024-03-262.1.VirtualBox虚拟机软件的安装2024-03-263.2. Ubuntu Linux 操作系统安装2024-03-264.3.Hadoop Single Node Cluster安装2024-03-275.4.Hadoop Muti Node Cluster安装2024-03-28

6.5.Hadoop HDFS 命令2024-03-28

7.6.Hadoop MapReduce2024-03-288.7.Python Spark安装2024-03-289.8 在IPython Notebook 运行Python Spark 程序2024-03-2910.9.RDD基本操作2024-03-25

收起

5.1 启动Hadoop Muti-Node Cluster

start-all.sh

5.2创建与查看HDFS目录

创建user目录：hadoop fs -mkdir /user

创建user下hduser子目录：hadoop fs -mkdir /user/hduser

创建hduser下test子目录：hadoop fs -mkdir /user/hduser/test

查看之前创建的HDFS目录：

 一次查看HDFS所有子目录

 创建多级HDFS目录

 5.3从本地计算机复制文件到HDFS

 复制本地文件到HDFS目录/目录下的文件

 查看：

 复制文件到HDFS时已经存在，强制复制。

 同时复制两个文件：

 复制本地文件夹到HDFS：

使用put复制到HDFS目录，会直接覆盖文件

 把屏幕上的内容写入HDFS文件：

把本地目录列表储存到HDFS文件

 5.4 将HDFS上的文件复制到本地计算机

 把整个HDFS目录复制到本地

 把HDFS上文件复制到本地计算机

 5.5复制与删除HDFS文件

复制：

 删除

 5.6在Hadoop HDFS Web 用户界面浏览HDFS

浏览器输入http://master:9870/

点击 utilities >> Browse the file system

可以查看路径下的文件，查看文件信息，下载文件。