云计算与大数据入门实验一 —— linux（ubuntu）常用命令
云计算与大数据入门实验一 —— linux（ubuntu）常用命令
实验目的
Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础
实验平台
操作系统：Linux Ubuntu 20.04；
Hadoop版本：2.10.2。
实验步骤
（一）熟悉常用的Linux操作
cd命令：切换目录
（1）切换到目录“/usr/local”
（2）切换到当前目录的上一级目录
（3）切换到当前登录Linux系统的用户的自己的主文件夹
ls命令：查看文件与目录
（4）查看目录“/usr”下的所有文件和目录
mkdir命令：新建目录
（5）进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录
（6）进入“/tmp”目录，创建目录“a1/a2/a3/a4”
rmdir命令：删除空的目录
（7）将上面创建的目录a（在“/tmp”目录下面）删除
（8）删除上面创建的目录“a1/a2/a3/a4” （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录
cp命令：复制文件或目录
（9）将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下，并重命名为bashrc1
（10）在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下
mv命令：移动文件与目录，或更名
（11）将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下
（12）将“/usr”目录下的test目录重命名为test2
rm命令：移除文件或目录
（13）将“/usr/test2”目录下的bashrc1文件删除
（14）将“/usr”目录下的test2目录删除
cat命令：查看文件内容
（15）查看当前用户主文件夹下的.bashrc文件内容
tac命令：反向查看文件内容
（16）反向查看当前用户主文件夹下的.bashrc文件的内容
more命令：一页一页翻动查看
（17）翻页查看当前用户主文件夹下的.bashrc文件的内容
head命令：取出前面几行
（18）查看当前用户主文件夹下.bashrc文件内容前20行
（19）查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行
tail命令：取出后面几行
（20）查看当前用户主文件夹下.bashrc文件内容最后20行
（21）查看当前用户主文件夹下.bashrc文件内容，并且只列出50行以后的数据
touch命令：修改文件时间或创建新文件
（22）在“/tmp”目录下创建一个空文件hello，并查看文件时间
（23）修改hello文件，将文件时间整为5天前
chown命令：修改文件所有者权限
（24）将hello文件所有者改为root帐号，并查看属性
find命令：文件查找
（25）找出主文件夹下文件名为.bashrc的文件
tar命令：压缩命令
（26）在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test.tar.gz
（27）把上面的test.tar.gz压缩包，解压缩到“/tmp”目录
grep命令：查找字符串
（28）从“～/.bashrc”文件中查找字符串'examples'
配置环境变量
（29）请在“～/.bashrc”中设置，配置Java环境变量
（30）查看JAVA_HOME变量的值
（二）熟悉常用的Hadoop操作
（31）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop”
（32）接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表
（33）将Linux系统本地的“～/.bashrc”文件上传到HDFS的test文件夹中，并查看test
（34）将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下
实验内容
熟悉常用的Linux操作
cd命令：切换目录
# 切换到目录“/usr/local”
cd /usr/local
# 切换到当前目录的上一级目录
cd ..
# 换到当前登录Linux系统的用户的自己的主文件夹
cd ~
# 这里 ~ 就代表了我们自己的主目录
ls命令：查看文件与目录
# 查看目录“/usr”下的所有文件和目录
# 查看所有文件（不包括隐藏文件）
cd /usr
ls
# 查看所有文件（包括隐藏文件）
cd /usr
ls -all
mkdir命令：新建目录
# 进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录
cd /tmp
mkdir a
ls -all
# 进入“/tmp”目录，创建目录“a1/a2/a3/a4”
cd /tmp
mkdir a1 a2 a3 a4
ls -all
rmdir命令：删除空的目录
# 将上面创建的目录a（在“/tmp”目录下面）删除
rmdir a
ls -all
# 删除上面创建的目录“a1/a2/a3/a4” （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录
rmdir a1 a2 a3 a4
la -all
cp命令：复制文件或目录
# 将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下，并重命名为bashrc1
# 这里推荐使用 sudo 不然会权限不足
sudo cp ~/.bashrc /usr/bashrc1
cd /usr
ls -all
# 在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下
# 这里使用 cp -r 可以避免跳过文件夹
cd /tmp
mkdir test
sudo cp -r test /usr
cd usr
ls -all
mv命令：移动文件与目录，或更名
# 将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下
cd usr
sudo touch bashrc1
sudo mv bashrc1 /usr/test
cd /usr/test
ls -all
# 将“/usr”目录下的test目录重命名为test2
cd usr
sudo mv test test2
ls -all
rm命令：移除文件或目录
# 将“/usr/test2”目录下的bashrc1文件删除
cd /usr/test2
ls -all
sudo rm bashrc1
ls -all
# 将“/usr”目录下的test2目录删除
cd /usr
ls -all
sudo rm -rf test
ls -all
cat命令：查看文件内容
# 查看当前用户主文件夹下的.bashrc文件内容
cd ~
cat ~/.bashrc
tac命令：反向查看文件内容
# 反向查看当前用户主文件夹下的.bashrc文件的内容
tac ~/.bashrc
more命令：一页一页翻动查看
# 翻页查看当前用户主文件夹下的.bashrc文件的内容
# 命令执行后回车翻页
more ~/.bashrc
head命令：取出前面几行
# 查看当前用户主文件夹下.bashrc文件内容前20行
head -n 20 ~/.bashrc
# 查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行
head -n -50 ~/.bashrc
tail命令：取出后面几行
# 查看当前用户主文件夹下.bashrc文件内容最后20行
tail -n 20 ~/.bashrc
# 查看当前用户主文件夹下.bashrc文件内容，并且只列出50行以后的数据
tail -n -50 ~/.bashrc
touch命令：修改文件时间或创建新文件
# 在“/tmp”目录下创建一个空文件hello，并查看文件时间
cd /tmp
touch hello
ls -all
ls -l hello
# 修改hello文件，将文件时间整为5天前
ls -l hello
touch "5 days ago" hello
ls -l hello
chown命令：修改文件所有者权限
# 将hello文件所有者改为root帐号，并查看属性
sudo chown root /tmp/hello
find命令：文件查找
# 找出主文件夹下文件名为.bashrc的文件
find ~ -name .bashrc
tar命令：压缩命令
# 在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test.tar.gz
cd /
mkdir test/
tar -zcv -f /test.tar.gz test
# 把上面的test.tar.gz压缩包，解压缩到“/tmp”目录
cd /
sudo mkdir test
sudo tar -zcvf test.tar.gz test
grep命令：查找字符串
# 从“～/.bashrc”文件中查找字符串'examples'
grep examples ~/.bashrc
配置环境变量
# 请在“～/.bashrc”中设置，配置Java环境变量
# 给予文件编辑权限并打开
chmod 777 ~/.bashrc
vim ~/.bashrc
# 添加如下内容，这里 java 路径要使用绝对路径
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_361
export JRE_HOME=${JAVA_HOME}/jre
# 查看JAVA_HOME变量的值
echo $JAVA_HOME
熟悉常用的Hadoop操作
hadoop常用命令
# 使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop”
ssh localhost
start-dfs.sh
hadoop fs -mkdir /user/hadoop
hadoop fs -ls /user
# 接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表
hadoop fs -mkdir /user/hadoop/test
hadoop fs -ls /user/hadoop
hadoop fs -ls /user/hadoop/test
# 将Linux系统本地的“～/.bashrc”文件上传到HDFS的test文件夹中，并查看test
hadoop fs -put ~/.bashrc /user/hadoop/test
hadoop fs -ls /user/hadoop/test
# 将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下
hadoop fs -get /user/hadoop/test /usr/local/hadoop
cd /usr/local/hadoop
ls -l test
ls -l -all test
