实验一Hadoop的搭建

实验要求：

（1）掌握Linux虚拟机的安装方法

（2）掌握一些常用的Linux命令

（3）掌握Hadoop的伪分布式安装方法

（4）掌握Hadoop的常用操作

实验内容：

一 、安装Linux虚拟机（Ububtu系统）。

 

 

二、熟悉常用的Linux命令

 

1．cd命令：切换目录

（1）切换到目录 /usr/local

     cd /usr/local

 

（2）去到目前的上层目录

 cd ..

 

（3）回到自己的主文件夹

cd ~

    

  2.ls命令：查看文件和目录
              查看目录/usr下所有的文件

  cd /usr

  ls

   

 3.mkdir命令：创建新目录
              3.1进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在

cd /tmp

mkdir a

ll

 

             3.2创建目录a1/a2/a3/a4

mkdir -p a1/a2/a3/a4  

ls

4  rmdir命令：删除空的目录
              4.1将上例创建的目录a（/tmp下面）删除

rmdir a

ls

              4.2删除目录a1/a2/a3/a4，查看有多少目录存在

rmdir -p a1/a2/a3/a4

ls -al

 

5 cp命令：复制文件或目录
              5.1将主文件夹下的.bashrc复制到/usr下，命名为bashrc1

sudo cp ~/.bashrc /usr/bashrc1
              5.2在/tmp下新建目录test，再复制这个目录内容到/usr

mkdir test

 

6 mv命令：移动文件与目录，或更名
  6.1将上例文件bashrc1移动到目录/usr/test

sudo mv /usr/bashrc1 /usr/test
       6.2将上例test目录重命名为test2

 sudo mv /usr/test /usr/test2

 

7 rm命令：移动文件或目录
              7.1将上例复制的bashrc1文件删除

sudo rm /usr/test2/bashrc1

              7.2将上例的test2目录删除

     

8 cat命令：查看文件内容
       查看主文件夹下的.bashrc文件内容

   cat ./bashrc

 

9 tac命令：反向列示
             反向查看主文件夹下.bashrc文件内容

tac .bashrc

 

10 more命令：一页一页翻动查看
              翻页查看主文件夹下.bashrc文件内容

more .bashrc

 

11 head命令：取出前面几行
            11.1查看主文件夹下.bashrc文件内容前20行

head -20 .bashrc

           11.2查看主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行

head -n -50 .bashrc

 

12 tail命令：取出后面几行
              12.1查看主文件夹下.bashrc文件内容最后20行

tail -n 20 .bashrc

              12.2查看主文件夹下.bashrc文件内容，只列出50行以后的数据

tail -n 50 .bashrc

13  touch命令：修改文件时间或创建新文件
              13.1在/tmp下创建一个空文件hello并查看时间

touch hello

ls -l hello

touch -d “5 days ago” hello

              13.2修改hello文件，将日期调整为5天前

touch -d “5 days ago” hello

 

14 chown命令：修改文件所有者权限
              将hello文件所有者改为root帐号，并查看属性

sudo chown root /tmp/hello

    

15 find命令：文件查找
              找出主文件夹下文件名为.bashrc的文件

find .bashrc

 

 

16 tar命令：压缩命令
              16.1在/目录下新建文件夹test,然后在/目录下打包成test.tar.gz

sudo mkdir test

sudo tar -zcv -f test.tar.gz test

 

              16.2解压缩到/tmp目录

sudo ar zxv -f test.tar.gz -C tmp

 

17 grep:查找字符串
              从～/.bashrc文件中查找字符串’examples’

grep example .bashrc

 

18 配置Java环境变量

18.1配置Java环境变量，在～/.bashrc中设置

gedit .bashrc

18.2查看JAVA_HOME变量的值

echo $JAVA_HOME

 

三、进行Hadoop伪分布式安装

1 伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 

vim core-site.xml

 

vim hdfs-site.xml 

 

 2 配置完成后，执行 NameNode 的格式化:

cd /usr/local/hadoop

./bin/hdfs namenode -format

3接着开启 NameNode 和 DataNode 守护进程

cd /usr/local/hadoop

./sbin/start-dfs.sh    #start-dfs.sh是个完整的可执行文件，中间没有空格

 

 

   4 输入jps查看所有的Java进程

    

四、熟悉常用的Hadoop操作

（1）使用Hadoop用户登陆Linux操作系统，启动hadoop，为Hadoop用户在HDFS中创建用户目录“/usr/hadoop”

./bin/hdfs dfs -mkdir -p /usr/hadoop

 

接着在HDFS目录“/usr/hadoop”下，创建text文件夹，并查看文件列表

./bin/hdfs dfs -mkdir test

 

./bin/hdfs dfs -ls test

 

将Linux操作系统本地的“～/.bashrc”文件上传到HDFS的text文件夹中，并查看text

./bin/hdfs dfs -put ~/.bashrc test

 

（4）将HDFS text文件夹复制到Linux操作系统本地文件系统的“usr/local/hadoop”目录下

  ./bin/hdfs dfs -get test