1.三台虚拟机环境准备(重要)
2.linux基础和shell脚本的增强
3.大数据集群环境的准备(重要)
4.zookeeper的介绍和集群操作
5.网络编程(了解)
1.虚拟机的创建并联网
FDQN:全限定域名 机器名+域名的方式进行命名。
虚拟机默认用户名:root 密码:123456
2.linux基础增强
1 grep 常用于文件的检索过滤
ps -ef |grep sshd 检索当前服务进行的信息
2 find 用于检索指定的文件
格式:find 【查找目录】 【选择参数】 查找的文件
例如:find . -name "*.log"
3.locate 用于定位档案或者命令相关的文档 locatedb
使用前需要先下载 yum -y install mlocate
下载后需要更新数据库 updatedb
locate /etc/sh
4.whereis 用于检索命令的执行文件或者是源码文件
whereis ls
5.which 检索环境变量中指定的目录(用于命令的检索)
6.用户的创建和使用
useradd hadoop
passwd hadoop
7.su和sudo的使用
su:用于用户的切换
sudo:针对普通用户设定系统级别的权限
visudo 修改配置文件
sudo vim /etc/profile
8.文件目录的权限
chmod 对一个文件或目录进行权限的修改
chmod -R 777 xxx
chown 对文件或目录的所有者进行修改
9 服务的管理
service iptables start |stop |status
chkconfig iptables on|off #设定服务是否开机启动
10 网络管理
hostname 用于修改主机名 vim /etc/sysconfig/network
hosts映射 用于ip地址和主机名的映射 vim /etc/hosts
网络端口监听
netstat 查看网络端口状态的命令 netstat -nltp
4linux的shell编程
shell:是使用c语言编写的脚本程序
shell script:shell脚本程序
bin/bash bin/sh
shell命令的基本格式
#!/bin/bash
echo "hello world"
对于脚本的执行:
(1) sh hello.sh
(2)先对文件进行x的执行权限设置,然后./hello.sh执行
shell脚本的变量
变量=值,等号之前千万不能有空格
总结:变量的等号之间不能有空格,其他地方到处是空格
变量的引用方式
(1) $name 其中name为变量名称
(2) ${name}
变量的类型
(1)局部变量: 只在当前的实例中,变量有效
(2)环境变量: /etc/profile中配置的变量 在任何位置都可以访问
(3) shell 变量:在shell脚本中设定的变量
参数传递
shell中使用 n 接收参数 例如:1用于接收第一个参数,$2接收第二个,以此类推
$0:特殊参数接收,用于接收当前执行的文件名称
shell中的算数运算
表达式运算中要有空格
· expr a + b ·
shell中的流程控制
1)if else
语法:
if
condition1
then
command1
elif condition2
then
command2
else
commandN
fi
2)for循环
for N in 1 2 3
do
echo $N
done
3) while循环
while expression
do
command
…
done
4)case条件判断
case 值 in
模式 1)
command1
command2
...
commandN
;;
模式 2)
command1
command2
...
commandN
;;
esac
函数的使用
[ function ] funname [()]
{
action;
[return int;]
}
6.zookeeper的介绍
1.zookeeper概述
zookeeper:分布式协调服务的框架。 解决的问题:系统的一致性,避免数据脏读。是一个分布式的小文件存储系统。
作为zookeeper按照树状结构进行的存储,
2.客户端的使用
zkCli.sh 连接客户端
1)创建节点
create [-s -e] path data
2)查看节点
ls path
3) 查看数据
get path
4) 修改数据
set path data
5)删除节点
delete path 删除一个节点
rmr path 递归删除节点
6)history 查看历史记录
3.zookeeper的数据模型
zookeeper兼备文件和目录两种特性,作为目录也可以存数据,是一个树型结构,每一个节点都称为znode节点。
7.网络编程
ip
A:192 0~255 0~255 0~255
B:192.168. 0~255 0~255
C:192.168.47 0~255
D:组播
E:预留