熟悉常用的Linux操作和Hadoop操作

实验环境：

1、 操作系统：Linux（建议Ubuntu16.04）；

2、 Hadoop版本：2.7.1。

 

实验目的：

1、Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。

 

实验步骤：

（一）熟悉常用的Linux操作

l cd命令：切换目录

（1） 切换到目录“/usr/local”

cd /usr/local

（2） 切换到当前目录的上一级目录

cd ..

（3） 切换到当前登录Linux系统的用户的自己的主文件夹

cd ~

l ls命令：查看文件与目录

（4） 查看目录“/usr”下的所有文件和目录

cd /usr
ls -al

l mkdir命令：新建目录

（5） 进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录

cd /tmp
mkdir a
ls -al

（6） 进入“/tmp”目录，创建目录“a1/a2/a3/a4”

mkdir -p a1/a2/a3/a4

l rmdir命令：删除空的目录

（7） 将上面创建的目录a（在“/tmp”目录下面）删除

rmdir a

（8） 删除上面创建的目录“a1/a2/a3/a4” （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录

rmdir -p a1/a2/a3/a4
ls -al

l cp命令：复制文件或目录

（9） 将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下，并重命名为bashrc1

sudo cp ~/.bashrc /usr/bashrc1

（10） 在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下

cd /tmp
mkdir test
sudo cp -r /tmp/test /usr

l mv命令：移动文件与目录，或更名

（11） 将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下

cd /usr
sudo cp /usr/bashrc1 /usr/test

（12） 将“/usr”目录下的test目录重命名为test2

cd /usr
sudo mv test test2

l rm命令：移除文件或目录

（13） 将“/usr/test2”目录下的bashrc1文件删除

cd /usr
sudo rm bashrc1

（14） 将“/usr”目录下的test2目录删除

sudo rm -r test2

l cat命令：查看文件内容

（15） 查看当前用户主文件夹下的.bashrc文件内容

cat ~/.bashrc

l tac命令：反向查看文件内容

（16） 反向查看当前用户主文件夹下的.bashrc文件的内容

tac ~/.bashrc

l more命令：一页一页翻动查看

（17） 翻页查看当前用户主文件夹下的.bashrc文件的内容

more ~/.bashrc

l head命令：取出前面几行

（18） 查看当前用户主文件夹下.bashrc文件内容前20行

head -n 20 ~/.bashrc

（19） 查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行

head -n -50 ~/.bashrc

l tail命令：取出后面几行

（20） 查看当前用户主文件夹下.bashrc文件内容最后20行

tail -n 20 ~/.bashrc

（21） 查看当前用户主文件夹下.bashrc文件内容，并且只列出50行以后的数据

tail -n +50 ~/.bashrc

l touch命令：修改文件时间或创建新文件

（22） 在“/tmp”目录下创建一个空文件hello，并查看文件时间

cd/tmp 
touch hello
ls -l hello

（23） 修改hello文件，将文件时间整为5天前

touch -d "5 days ago" hello

l chown命令：修改文件所有者权限

（24） 将hello文件所有者改为root帐号，并查看属性

sudo chown root /tmp/hello

l find命令：文件查找

（25） 找出主文件夹下文件名为.bashrc的文件

find ~/.bashrc

l tar命令：压缩命令

（26） 在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test.tar.gz

cd /
touch test
sudo tar -zcvf /test.tar.gz test

（27） 把上面的test.tar.gz压缩包，解压缩到“/tmp”目录

sudo tar -zxvf /test.tar.gez -C /tmp

l grep命令：查找字符串

（28） 从“～/.bashrc”文件中查找字符串'examples'

grep examples ~/.bashrc

l 配置环境变量

（29） 请在“～/.bashrc”中设置，配置Java环境变量

gedit ~/.bashrc

首行加入 ： export JAVA_HOME="JDK位置"

（30） 查看JAVA_HOME变量的值

echo $JAVA_HOME

 

（二）熟悉常用的Hadoop操作

（31）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop”

 

（31） 接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表

 

（32） 将Linux系统本地的“～/.bashrc”文件上传到HDFS的test文件夹中，并查看test

 

（33） 将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下