第三次作业
《大数据应用技术》实验1
第二章 熟悉常用的Linux操作和Hadoop操作
1.实验目的
- 为后续上机实验做准备,熟悉常用的Linux操作和Hadoop操作。
2.实验平台
操作系统:Linux
Hadoop版本:2.7.1
3.实验内容和要求
(一)熟悉常用的Linux操作
请按要求上机实践如下linux基本命令。
cd命令:切换目录
(1)切换到目录 /usr/local cd /usr/local/
(2)去到目前的上层目录 cd ..
(3)回到自己的主文件夹 cd ~
ls命令:查看文件与目录
(4)查看目录/usr下所有的文件 ls -al ~
mkdir命令:新建新目录
(5)进入/tmp目录,创建一个名为a的目录,并查看有多少目录存在
cd /tmp
mkdir a
ls -l
(6)创建目录a1/a2/a3/a4
mkdir –p a1/a2/a3/a4
rmdir命令:删除空的目录
(7)将上例创建的目录a(/tmp下面)删除
rmdir a
(8)删除目录a1/a2/a3/a4,查看有多少目录存在
rmdir -p a1/a2/a3/a4
ls -l
cp命令:复制文件或目录
(9)将主文件夹下的.bashrc复制到/usr下,命名为bashrc1
(10)在/tmp下新建目录test,再复制这个目录内容到/usr
mv命令:移动文件与目录,或更名
(11)将上例文件bashrc1移动到目录/usr/test
(12)将上例test目录重命名为test2
rm命令:移除文件或目录
(13)将上例复制的bashrc1文件删除
(14)将上例的test2目录删除
cat命令:查看文件内容
(15)查看主文件夹下的.bashrc文件内容
tac命令:反向列示
(16)反向查看主文件夹下.bashrc文件内容
more命令:一页一页翻动查看
head命令:取出前面几行
(18)查看主文件夹下.bashrc文件内容前20行
(19)查看主文件夹下.bashrc文件内容,后面50行不显示,只显示前面几行
tail命令:取出后面几行
(20)查看主文件夹下.bashrc文件内容最后20行
(21)查看主文件夹下.bashrc文件内容,只列出50行以后的数据
chown命令:修改文件所有者权限
(22)将hello文件所有者改为root帐号,并查看属性
Vim/gedit/文本编辑器:新建文件
(23)在主文件夹下创建文本文件my.txt,输入文本保存退出。
tar命令:压缩命令
(24)将my.txt打包成test.tar.gz
(25)解压缩到~/tmp目录
cd ~
mkdir tmp
tar -zxvf test.tar.gz -C ~/tmp
(二)熟悉使用MySQL shell操作
(26)显示库:show databases;
(27)进入到库:use 库名;
(28)展示库里表格:show tables;
(29)显示某一个表格属性:desc 表格名;
(30)显示某一个表格内的具体内容:select *form 表格名;
(31)创建一个数据库:create database sc;
(32)在sc中创建一个表格:create table if not exists student(id varchar(30),name' varchar(50)) character set utf8;
(33)向表格student中插入具体内容:insert into 表格名(名)values(value);
插入记录包含自己的学号姓名。
(34)显示表的内容。
(三)熟悉Hadoop及其操作
1.用图文与自己的话,简要描述Hadoop起源与发展阶段。
起源:Hadoop起源于Apache Nutch项目,始于2002年,是Apache Lucene的子项目之一。
发展:2004年,Google在“操作系统设计与实现”(Operating System Design and Implementation,OSDI)会议上公开发表了题为MapReduce:Simplified Data Processing on Large Clusters(Mapreduce:简化大规模集群上的数据处理)的论文之后,受到启发的Doug Cutting等人开始尝试实现MapReduce计算框架,并将它与NDFS(Nutch Distributed File System)结合,用以支持Nutch引擎的主要算法。由于NDFS和MapReduce在Nutch引擎中有着良好的应用,所以它们于2006年2月被分离出来,成为一套完整而独立的软件,并被命名为Hadoop。到了2008年年初,hadoop已成为Apache的顶级项目,包含众多子项目,被应用到包括Yahoo在内的很多互联网公司。
2.对比操作三个文件系统:分别用命令行与窗口方式查看windows,Linux和Hadoop的文件系统的用户主目录。
1.windows
2.Linux
3.hadoop
3.一个案例:
- 启动hdf
- 查看与创建hadoop用户目录。在用户目录下创建与查看input目录
- 将hadoop的配置文件上传到hdfs上的input目录下。
- 运行MapReduce示例作业,输出结果放在output目录下。
-
查看output目录下的文件。
-
查看输出结果
- 将输出结果文件下载到本地
-
查看下载的本地文件
- 停止hdfs
(37)设置Hadoop环境变量,在本地用户主目录下启动hdfs,查看hdfs用户主目录,停止hdfs。
1.进入
2.编辑环境
3.source一下
4.启动
5.停止
6.注意,原博客的内容有误,要对应改好