03Linux与Hadoop操作实验

(一)熟悉常用的Linux操作

cd命令:切换目录

(1)切换到目录 /usr/local

(2)去到目前的上层目录

(3)回到自己的主文件夹

 

 

ls命令:查看文件与目录

(4)查看目录/usr下所有的文件

 

 

mkdir命令:新建新目录

(5)进入/tmp目录,创建一个名为a的目录,并查看有多少目录存在

(6)创建目录a1/a2/a3/a4

 

 

rmdir命令:删除空的目录

(7)将上例创建的目录a(/tmp下面)删除

 

 

(8)删除目录a1/a2/a3/a4,查看有多少目录存在

 

 

cp命令:复制文件或目录

(9)将主文件夹下的.bashrc复制到/usr下,命名为bashrc1

 

 

(10)在/tmp下新建目录test,再复制这个目录内容到/usr

 

 

mv命令:移动文件与目录,或更名

(11)将上例文件bashrc1移动到目录/usr/test

 

 

(12)将上例test目录重命名为test2

 

 

rm命令:移除文件或目录

(13)将上例复制的bashrc1文件删除

 

 

(14)将上例的test2目录删除

 

 

cat命令:查看文件内容

(15)查看主文件夹下的.bashrc文件内容

 

 

tac命令:反向列示

(16)反向查看主文件夹下.bashrc文件内容

 

 

more命令:一页一页翻动查看

(17)翻页查看主文件夹下.bashrc文件内容

 

 

head命令:取出前面几行

(18)查看主文件夹下.bashrc文件内容前20行

 

 

(19)查看主文件夹下.bashrc文件内容,后面50行不显示,只显示前面几行

 

 

tail命令:取出后面几行

(20)查看主文件夹下.bashrc文件内容最后20行

 

 

(21)查看主文件夹下.bashrc文件内容,只列出50行以后的数据

 

 

chown命令:修改文件所有者权限

(22)将hello文件所有者改为root帐号,并查看属性

 

 

Vim/gedit/文本编辑器:新建文件

(23)在主文件夹下创建文本文件my.txt,输入文本保存退出。

 

 

tar命令:压缩命令

(24)将my.txt打包成test.tar.gz

 

 

(25)解压缩到~/tmp目录

 

 

 

(二)熟悉使用MySQL shell操作 

(26)显示库:show databases;

 

 

(27)进入到库:use 库名;

 

 

(28)展示库里表格:show tables;

 

 

(29)显示某一个表格属性:desc 表格名;

 

 

(30)显示某一个表格内的具体内容:select *form 表格名;

 

 

(31)创建一个数据库:create databases sc;

 

 

(32)在sc中创建一个表格:create table if not exists student( );

 

 

(33)向表格student中插入具体内容:insert into 表格名(名)values(value);

插入记录包含自己的学号姓名。

 

 

(34)显示表的内容。

3.熟悉Hadoop及其操作

1.用图文与自己的话,简要描述Hadoop起源与发展阶段

为什么叫Hadoop? Logo为什么是黄色的大象?

狭义上来说,Hadoop就是单独指代Hadoop这个软件(HDFS+MAPREDUCE)
广义上来说,Hadoop指代大数据的一个生态圈(Hadoop生态圈),包括很多其他的软件。
在这里插入图片描述

Hadoop的历史版本介绍

0.x系列版本:Hadoop当中最早的一个开源版本,在此基础上演变而来的1.x以及2.x的版本
1.x版本系列:Hadoop版本当中的第二代开源版本,主要修复0.x版本的一些bug等
2.x版本系列:架构产生重大变化,引入了yarn平台等许多新特性
在这里插入图片描述

 

Hadoop的起源

2003-2004年,Google公布了部分GFS和MapReduce思想的细节,受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。
2005年,Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。
2006年2月被分离出来,成为一套完整独立的软件,起名为Hadoop
Hadoop名字不是一个缩写,而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛绒玩具象命名的。
Hadoop的成长过程
Lucene–>Nutch—>Hadoop

总结起来,Hadoop起源于Google的三大论文
GFS:Google的分布式文件系统Google File System
MapReduce:Google的MapReduce开源分布式并行计算框架
BigTable:一个大型的分布式数据库

演变关系
GFS—->HDFS
Google MapReduce—->Hadoop MapReduce
BigTable—->HBase

posted @ 2021-09-27 12:14  帝释天222  阅读(42)  评论(0编辑  收藏  举报