假期第五周每周总结

      本周，学习了大数据相关的知识，首先先是在中国大学mood上看了会课程，了解了基本的概念，然后进行配置，然后配置过程太简略，一直配置失败，就在b站上找相关的课程，在黑马程序员那里看的有点人少，毕竟出来bug也不知怎么解决，然后就找到了b站的尚硅谷的大数据进行学习，学习了几天，还行，至少是配置全了，出个几个空格导致的bug，还算顺利。然后周六周日准备了一下的初二初三的课程，教初中生几天的预科，大概是可以讲将近两章，教数学物理数学物理化学，看着不难，不知到教的怎么样。

     以下是我本周的知识点总结：关于hadoop的学习记下的一些笔记：

1.整体启动/停止HDFS

start-dfs.sh

stop-dfs.sh

在此sbin目录下：

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/stop-dfs.sh

2.整体启动/停止YARN

同样在以上目录下：

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh

注意：需在配置ResourceManager 上进行启动和停止yarn

3.对各个服务组件逐一启动/停止(尽量不会使用）

分别启动/停止HDFS组件

hdfs --daemon start datanode/namenode/secondarynamenode

hdfs --daemon stop datanode/namenode/secondarynamenode

停止启动YARN

yarn --daemon start/stop resourcemanager/nodemanager

4.编写脚本进行实现

进入[atguigu@hadoop102 ~]$ cd bin路径

新建脚本：[atguigu@hadoop102 bin]$ vim myhadoop.sh

脚本内容:

#!/bin/bash

if [ $# -lt 1 ]

then

echo "No Args Input..."

exit ;

fi

case $1 in

"start")

echo " =================== 启动 hadoop 集群 ==================="

echo " --------------- 启动 hdfs ---------------"

ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"

echo " --------------- 启动 yarn ---------------"

ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"

echo " --------------- 启动 historyserver ---------------"

ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"

;;

"stop")

echo " =================== 关闭 hadoop 集群 ==================="

echo " --------------- 关闭 historyserver ---------------"

ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop

historyserver"

echo " --------------- 关闭 yarn ---------------"

ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"

echo " --------------- 关闭 hdfs ---------------"

ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"

;;

*)

echo "Input Args Error..."

;;

esac

赋予权限：[atguigu@hadoop102 bin]$ chmod 777 myhadoop.sh

具体操作：

配合jps脚本使用查看所有服务器启动情况：

新建脚本：

[atguigu@hadoop102 bin]$ vim jpsall

脚本内容：

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104

do

echo =============== $host ===============

ssh $host jps

done

授权脚本：[atguigu@hadoop102 bin]$ chmod 777 jpsall

启动脚本示例：

以下是关于hdfs的笔记：

HDFS的Shell操作

基本语法

hadoop fs 具体命令/hdfs dfs 具体命令

常用命令

创建/sanguo 文件夹：

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /sanguo

上传

-moveFromLocal：从本地剪切粘贴到 HDFS

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -moveFromLocal ./shuguo.txt /sanguo
// 当前文件夹下的shuguo.txt文件   hdfs集群目录

-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去

hadoop fs -copyFromLocal weiguo.txt /sanguo

-put：等同于 copyFromLocal，生产环境更习惯用 put

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -put ./wuguo.txt /sanguo

-appendToFile：追加一个文件到已经存在的文件末尾

[atguigu@hadoop102 hadoop-3.1.3]$ vim liubei.txt
输入：
liubei
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile liubei.txt 
/sanguo/shuguo.txt

下载

-copyToLocal：从 HDFS 拷贝到本地

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo.txt ./
//  /sanguo/shuguo.txt  HDFS下的目录   ./本地文件夹 

-get：等同于 copyToLocal，生产环境更习惯用 get

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

HDFS直接操作

-ls: 显示目录信息

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /sanguo

-cat：显示文件内容

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -cat /sanguo/shuguo.txt

-chgrp、-chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -chmod 666 /sanguo/shuguo.txt
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -chown atguigu:atguigu /sanguo/shuguo.txt

-mkdir：创建路径

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /jinguo

-cp：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -cp /sanguo/shuguo.txt /jinguo

-mv：在 HDFS 目录中移动文件

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/wuguo.txt /jinguo
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/weiguo.txt /jinguo

-tail：显示一个文件的末尾 1kb 的数据

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -tail /jinguo/shuguo.txt

-rm：删除文件或文件夹

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -rm /sanguo/shuguo.txt

-rm -r：递归删除目录及目录里面内容

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /sanguo

-du 统计文件夹的大小信息

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /jinguo
27 81 /jinguo
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -du -h /jinguo
14 42 /jinguo/shuguo.txt
7 21 /jinguo/weiguo.txt
6 18 /jinguo/wuguo.tx

-setrep：设置 HDFS 中文件的副本数量

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -setrep 10 /jinguo/shuguo.txt
//这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得
//看 DataNode 的数量。因为目前只有 3 台设备，最多也就 3 个副本，只有节点数的增加到 10
//台时，副本数才能达到 10。

 还有一些的备课的的笔记。