熟悉常用的Linux操作和Hadoop操作
实验1
熟悉常用的Linux操作和Hadoop操作
1.实验目的
Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。
2.实验平台
(1)操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04);
(2)Hadoop版本:3.1.3。
3.实验步骤
1.熟悉常用的Linux操作
1)cd命令:切换目录
(1) 切换到目录“/usr/local”
(2) 切换到当前目录的上一级目录
(3) 切换到当前登录Linux系统的用户的自己的主文件夹
2)ls命令:查看文件与目录
查看目录“/usr”下的所有文件和目录
3)mkdir命令:新建目录
(1)进入“/tmp”目录,创建一个名为“a”的目录,并查看“/tmp”目录下已经存在哪些目录
(2)进入“/tmp”目录,创建目录“a1/a2/a3/a4”
4)rmdir命令:删除空的目录
(1)将上面创建的目录a(在“/tmp”目录下面)删除
(2)删除上面创建的目录“a1/a2/a3/a4” (在“/tmp”目录下面),然后查看“/tmp”目录下面存在哪些目录
5)cp命令:复制文件或目录
(1)将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下,并重命名为bashrc1
(2)在目录“/tmp”下新建目录test,再把这个目录复制到“/usr”目录下
6)mv命令:移动文件与目录,或更名
(1)将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下
(2)将“/usr”目录下的test目录重命名为test2
7)rm命令:移除文件或目录
(1)将“/usr/test2”目录下的bashrc1文件删除
(2)将“/usr”目录下的test2目录删除
8)cat命令:查看文件内容
查看当前用户主文件夹下的.bashrc文件内容
9)tac命令:反向查看文件内容
反向查看当前用户主文件夹下的.bashrc文件的内容
10)more命令:一页一页翻动查看
翻页查看当前用户主文件夹下的.bashrc文件的内容
11)head命令:取出前面几行
(1)查看当前用户主文件夹下.bashrc文件内容前20行
(2)查看当前用户主文件夹下.bashrc文件内容,后面50行不显示,只显示前面几行
12)tail命令:取出后面几行
(1)查看当前用户主文件夹下.bashrc文件内容最后20行
(2)查看当前用户主文件夹下.bashrc文件内容,并且只列出50行以后的数据
13)touch命令:修改文件时间或创建新文件
(1)在“/tmp”目录下创建一个空文件hello,并查看文件时间
(2)修改hello文件,将文件时间整为5天前
14)chown命令:修改文件所有者权限
将hello文件所有者改为root帐号,并查看属性
15)find命令:文件查找
找出主文件夹下文件名为.bashrc的文件
16)tar命令:压缩命令
(1)在根目录“/”下新建文件夹test,然后在根目录“/”下打包成test.tar.gz
(2)把上面的test.tar.gz压缩包,解压缩到“/tmp”目录
17)grep命令:查找字符串
从“~/.bashrc”文件中查找字符串'examples'
18)配置环境变量
(1)请在“~/.bashrc”中设置,配置Java环境变量
(2)查看JAVA_HOME变量的值
2.熟悉常用的Hadoop操作
(1)使用hadoop用户登录Linux系统,启动Hadoop(Hadoop的安装目录为“/usr/local/hadoop”),为hadoop用户在HDFS中创建用户目录“/user/hadoop”
(2)接着在HDFS的目录“/user/hadoop”下,创建test文件夹,并查看文件列表
(3)将Linux系统本地的“~/.bashrc”文件上传到HDFS的test文件夹中,并查看test
(4)将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下
4.实验报告
题目: |
实验1 熟悉常用的Linux操作和Hadoop操作 |
姓名 |
王洪兵 |
日期 2023.11.7 |
实验环境: (1)操作系统:Linux; (2)Hadoop版本:3.1.0。 (3)虚拟机:VMware。 (4)工具:xshell。
|
||||
实验内容与完成情况: (1) 切换到目录“/usr/local” (2) 切换到当前目录的上一级目录 (3) 切换到当前登录Linux系统的用户的自己的主文件夹
(4)查看目录“/usr”下的所有文件和目录
(5)进入“/tmp”目录,创建一个名为“a”的目录,并查看“/tmp”目录下已经存在哪些目录 (6)进入“/tmp”目录,创建目录“a1/a2/a3/a4”
(7)将上面创建的目录a(在“/tmp”目录下面)删除 (8)删除上面创建的目录“a1/a2/a3/a4” (在“/tmp”目录下面),然后查看“/tmp”目录下面存在哪些目录
(9)将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下,并重命名为bashrc1 (10)在目录“/tmp”下新建目录test,再把这个目录复制到“/usr”目录下
(11)将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下 (12)将“/usr”目录下的test目录重命名为test2
(13)将“/usr/test2”目录下的bashrc1文件删除 (14)将“/usr”目录下的test2目录删除
(15) 查看当前用户主文件夹下的.bashrc文件内容
(16) 反向查看当前用户主文件夹下的.bashrc文件的内容
(17) 翻页查看当前用户主文件夹下的.bashrc文件的内容
(18)查看当前用户主文件夹下.bashrc文件内容前20行 (19)查看当前用户主文件夹下.bashrc文件内容,后面50行不显示,只显示前面几行
(20)查看当前用户主文件夹下.bashrc文件内容最后20行 (21)查看当前用户主文件夹下.bashrc文件内容,并且只列出50行以后的数据
(22)在“/tmp”目录下创建一个空文件hello,并查看文件时间 (23)修改hello文件,将文件时间整为5天前
(24) 将hello文件所有者改为root帐号,并查看属性
(25) 找出主文件夹下文件名为.bashrc的文件
(26) 在根目录“/”下新建文件夹test,然后在根目录“/”下打包成test.tar.gz (27) 把上面的test.tar.gz压缩包,解压缩到“/tmp”目录
(28) 从“~/.bashrc”文件中查找字符串'examples'
(29)在“~/.bashrc”中设置,配置Java环境变量 (30)查看JAVA_HOME变量的值
2.熟悉常用的Hadoop操作 (1)使用hadoop用户登录Linux系统,启动Hadoop(Hadoop的安装目录为“/usr/local/hadoop”),为hadoop用户在HDFS中创建用户目录“/user/hadoop”
(2)接着在HDFS的目录“/user/hadoop”下,创建test文件夹,并查看文件列表
(3)将Linux系统本地的“~/.bashrc”文件上传到HDFS的test文件夹中,并查看test
(4)将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下
|
||||
出现的问题: (1) 没有那个文件 (2) mv:无法获取”test”状态 (3) 执行touch "5 days ago" hello无效果 (4) 权限不足 (5) sudo tar -xzvf /test.tar.gz test /tmp提示 tar: /tmp:归档中找不到 tar: 由于前次错误,将以上次的错误状态退出 (6) mkdir: Cannot create directory /user/hadoop/test. Name node is in safe mode. |
||||
解决方案(列出遇到的问题和解决办法,列出没有解决的问题): (1) 将cd usr 改为 cd /user
(2)进入到/usr目录下执行mv命令 (3)将touch "5 days ago" hello改为touch -d "5 days ago" hello (4)在命令前加sudo (5)解压命令更改为sudo tar -zxv -f test.tar.gz -C /tmp (6)把安全模式关闭hadoop dfsadmin -safemode leave
|