day01笔记
*******************************************
课程回顾：
vmWorkstation--搭建 linux虚拟机
主要课程安排。--
*******************************************
1. **linux配置IP常见问题**
（1）虚拟机的网络设置
## * ** 网段一定要保持一致*** ##
Vmnet8--NAT 路由器。
Vmnet1--仅主机模式
Vmnet0--桥接模式 交换机
10.1.255.（1-255） 255.255.255.0
10.1.（1-255）.（1-255） 255.255.0.0
网关。 10.1.255.1 NAT 10.1.255.2
如果没有GUI：
命令：vi /etc/sysconfig/network-scripts/ifcfg-(自己的名字)
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=a4a340a8-c3ba-4127-97c6-dc8a882bd7a4
DEVICE=ens33
## ONBOOT=yes ## 开机启动
## IPADDR=10.1.255.121 ##
PREFIX=24
## GATEWAY=10.1.255.2 ##
IPV6_PRIVACY=no
## DNS1=10.1.255.2 ## 8.8.8.8
# ** *改完后切记 要重启网络服务*** #
命令：service network restart
systemctl restart network
# **保证自己的主机VMnet在启用状态。** #
Windows系统的静态网址设置
C:\Windows\System32\drivers\etc\hosts
Linux系统的静态网址设置
vi /etc/sysconfig/network-scripts/ifcfg-xxx
DEVICE=eth0
HWADDR=00:0C:29:F5:1D:6A
TYPE=Ethernet
UUID=8f49ebc2-5b1b-4135-863b-6acb0c84453f
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static #设置为静态
IPADDR=192.168.179.13 #ip
NETMASK=255.255.255.0
GATEWAY=192.168.179.2#网关
DNS1=192.168.179.2 #配置网关连接外网
#source /etc/sysconfig/network-scripts/ifcfg-xxx
service network restart #重新启动
2. **linux关闭防火墙**
查看防火墙状态：firewall-cmd --state
systemctl status firewalld.service
关闭：systemctl stop firewalld.service
永久关闭： systemctl disable firewalld.service
3. **linux配置主机名**
（1）如果安装虚拟机 按照文档 主机明已经配置完成；
（2）通过命令：
vi /etc/hostname ---
reboot 永久生效。
hostname 主机名---临时
（3）设置主机名与IP对应关系
vi /etc/hosts--修改
10.1.255.121 bigdata121
10.1.255.122 bigdata122
10.1.255.123 bigdata123
3. **linux常用命令**
（1）ls:只显示文件名，
ll:显示详细信息 ls -l
lrwxrwxrwx. 1 root root 7 Dec 26 21:11 bin -> usr/bin
dr-xr-xr-x. 4 root root 4096 Dec 26 21:25 boot
drwxr-xr-x. 20 root root 3320 Jan 3 20:04 dev
drwxr-xr-x. 139 root root 8192 Jan 3 20:52 etc
drwxr-xr-x. 3 root root 19 Dec 27 09:15 home
lrwxrwxrwx. 1 root root 7 Dec 26 21:11 lib -> usr/lib
lrwxrwxrwx. 1 root root 9 Dec 26 21:11 lib64 -> usr/lib64
drwxr-xr-x. 2 root root 6 Mar 10 2016 media
drwxr-xr-x. 2 root root 6 Mar 10 2016 mnt
drwxr-xr-x. 5 root root 46 Jan 3 16:38 opt
dr-xr-xr-x. 254 root root 0 Jan 3 08:34 proc
dr-xr-x---. 18 root root 4096 Jan 3 20:08 root
drwxr-xr-x. 40 root root 1220 Jan 3 20:10 run
lrwxrwxrwx. 1 root root 8 Dec 26 21:11 sbin -> usr/sbin
drwxr-xr-x. 2 root root 6 Mar 10 2016 srv
dr-xr-xr-x. 13 root root 0 Jan 3 08:34 sys
drwxrwxrwt. 54 root root 8192 Jan 3 20:59 tmp
drwxr-xr-x. 13 root root 155 Dec 26 21:11 usr
drwxr-xr-x. 20 root root 282 Dec 26 21:40 var
1：代表文件类型 例如 d代表 目录
2-4：属于user权限 r-可读 4 w-可写2 x-可执行1
5-7：属于group权限
8-10：其他用户的权限。
硬连接数
(2)pwd:显示当前目录。
（3）cd:更换目录
（4）chmod--修改权限 chmod 777--rwx rwx rwx
(5)touch --创建文件
（6）vi----修改文件先点击i，完事之后 esc ,shitf+:,
如果要保存：wq wq! 叹号表示强制；
如果不保存：q q! 叹号表示强制
shitf+: set number--显示行号。
(7)cat、tac---查看文件内容
cat:从头往后看 tac表示从后往前看。
查看HDFS命令：hdfs dfs -cat /input/data.txt
（8）cp---拷贝文件--重写覆盖的过程
HDFS拷贝命令:hdfs dfs -cp /input/data.txt /input/datanew.txt
mv--重命名
（9）rm--删除文件
-r表示删除文件夹下的文件；
-f 表示强制删除文件或目录
（10）echo 查看环境变量的值
echo $JAVA_HOME
(11)ps 显示进程
ps -ef 标注格式显示每个进程的信息
ps -ef |grep (你想要看的内容)
（12）tar 解压或压缩
解压.tar.gz---tar -zxvf file.tar.gz
解压.tar--- tar -xvf file.tar
解压.tar.bz2---tar -jxvf file.tar.bz2
unzip .zip
unrar .rar
把x-->c 就是 压缩。
4. **linux的目录结构**
bin:常用命令
boot:linux的核心文件
dev:device
etc:配置文件
home:用户的主目录
lib(lib64):动态链接库
mnt:挂载yum源
opt:主机外的软件
opt/software--文件存放
opt/moudle--安装路径
tmp：主要是放临时文件 HDFS配置的时候需要修改。
5. **通过winscp连接linux**
6. **linux安装JDK**
（1）tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/moudle
（2）配置环境变量
JAVA_HOME=/opt/moudle/jdk1.8.0_181
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
（3）环境变量生效
source ~/.bash_profile
(4)验证 echo $JAVA_HOME
javac
java
java -version
7. **安装tree rpm包**
rpm:redhat linux packet manager
rpm -ivh tree-1.6.0-10.el7.x86_64.rpm
8. **初识Hadoop**
hadoop-2.7.3/----*Hadoop home*
├── bin----*hadoop 操作命令*
├── etc
│ └── hadoop----hadoop环境变量配置
├── include
├── lib
│ └── native
├── libexec
├── sbin---hadoop的集群操作命令
└── share
├── doc
│ └── hadoop---hadoop的帮助
└── hadoop
├── common
├── hdfs
├── httpfs
├── kms
├── mapreduce
├── tools
└── yarn
9. **第一个 word count**
# 需要配置成 hadoop环境---后面会同讲。 本地模式 伪分布模式 全分布#
(1)找到jar包
cd /opt/moudle/hadoop-2.7.3/share/hadoop/mapreduce
（2）运行命令
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp/a.txt /root/output/wc2
