《OD学hadoop》第一周0625

一、实用网站

1. linux内核版本 www.kernel.org

2. 查看网站服务器使用的系统  www.netcraft.com

二、推荐书籍

1. 《Hadoop权威指南》

1-3版： Hadoop1系列

4版（目前仅有英文原版）：Hadoop2系列

yarn高可用性，HA

2. 《Hive权威指南》 

3. 《MapReduce设计模式》

4. 《HBase权威指南》

5. 《鸟哥的Linux私房菜》

6. 《Vim使用技巧》、《学习vi和Vim编辑器》

三、Linux基础

 无线网密码： kang1234 

1. centos用户名密码 root 123456

2. 常用命令

1）ifconfig查看网络信息

清屏  clear 或者ctrl+l

2）Linux系统下设置静态IP或自动获取动态IP的简单方法 

vi /etc/sysoconfig/network-scripts/ifcfg-eth0

DNS1=192.168.189.2（网关地址）

service network restart

more /etc/resolv.conf

mac中的linux需要修改mac地址

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=bigdata-senior01.ibeifeng.com

ping通外网需要增加DNS

3）copy的Linux虚拟机网卡问题

http://www.dabu.info/vmware-clone-or-copy-the-linux-virtual-machine-eth0-not-find-the-solution-vmware-copy-copy-or-clone-clone-no-card-rpm.html

http://www.cnblogs.com/yiru/archive/2012/12/03/2799079.html

4）远程连接

SecurityCRT,xshell，xmanager, filezilla, notepad++

5）linux一切皆文件，目录也是文件

6）etc目录

ls -la /etc/

more  

ONBOOT=yes

BOOTPROTO=none、DHCP、static（实际工作用的较多）

7）root目录

root用户的主目录(家目录)

8）home目录

9）bin sbin

10）boot 系统启动时加载的文件

11）ls命令

ls -l (long)

ls -a (all)

ls -la

ls -d 查看目录本身属性

ls -ld

12）mkdir

mkdir -p 级联创建目录

13）touch

touch "program files" 创建带空格的文件

14）rmdir

rmdir 删除空的目录

15）

rm 删除一个文件

rm -r 删除一个目录，有提示

rm -rf 删除非空目录，无提示

16）cp

cp -r

17）mv 

18)

增:

删:

改:

查： Linux 查看文件内容的命令

cat:

more： 分页显示   空格分页查看，回车逐行查看

head： 查看文件开始行 head -n 

tail：查看文件末尾行  tail -n  

find: 查找

第一种：根据文件名来查找

在搜索的时候，尽量缩小搜索的范围，减少搜索的时间和资源消耗。

* 代表任意字符

? 代表任意单个字符

find / -name init

find /etc/ -name init

find /etc/ -name *init*

find /etc/ -name init*

find /etc/ -name init???

-i 不区分大小写

find /etc/ -iname init???

第二种，根据文件的大小来查找 

find / -size

+ 表示大小

- 表示小于

不加 表示等于

-size  后面跟的大小是按照数据块的大小来进行缓存的

Linux中数据块大小是512字节，0.5K

100MB， 1MB = 1024KB， 100MB = 102400 KB

find / -size +204800

第三种，根据文件所有者查找

find /root/ -user root

第四种，根据文件所有组查找

find /root/ -group root

 

-a and 

-o or

-type f  d

大于80M且小于100M

find /etc/ -size +163860 -a -size -204800

小于80M或者大于100M

find /etc/ -size -163860 -o -size +204800 

find /etc/ -name init* -a -type f

19) Linux权限

drwxr-xr-x

d 代表data，表示目录，可以理解为一个占位符

rwx: 所有者(user,u)

r-x：所属组(group, g)

r-x:  其他人(other, o)

r: 读 cat、head、more、tail

w: 写 mkdir、touch、vi、rm、cp、mv

x：执行 cd

第一种用字母表示： u,g,o

第二种用数字表示：

r：4

w：2

x： 1

-rwxr-xr-x 755

-rw-r--r-- 644

示例：

（1）用字母赋予权限

修改权限命令：chmod

赋予权限用加号+表示：chmod u+x program

同时赋予权限 chmod g+x,o+x program

撤销权限chmod g-x progam

（2）用数字赋予权限（工作中用数字较多）

chmod 777 program

（3）目录有权限，则目录中的文件也会有文件

20）

root:x:0:0:root:/root:/bin/bash

每一列以冒号隔开，其中第三列和第四列：UID和GID

组：teacher组中t1,t2,t3...

cat /etc/passwd

cat /etc/group 

创建用户： user add xxx

创建组： groupadd xxx

设置密码：

第一种设置密码方式 passwd username

第二种设置密码方式 echo 'beifeng' | passwd --stdin username

不仅切换了用户而且联通shell环境也一起切换: su - username

切换的仅仅是用户: su username

id root

uid=0(root) gid=0(root) groups=0(root)

uid=500(beifeng) gid=500(beifeng) groups=500(beifeng)

删除用户：

userdel username

userdel -r username

sudo username

21）man

man visudo

man 5 sudoers

 

四、VI编辑器

linux下vi命令大全

1. VI的三种模式

（1）命令模式

esc 进入命令模式

（2）插入模式

（3）最后行模式

shift + :

w  写入保存

q  退出

wq 保存并退出

! 强制操作

q! 不保存修改直接退出

2. 快捷键

（1）光标快速移动到最后一行  大写G

（2）显示行数 shift + :       set nu

（3）光标快速移动到第一行  小写gg

（4）删除光标所在行  小写dd

（5）删除多行，比如三行，小写3dd

（6）撤回修改   小写u

（7）粘贴 小写p

（8）赋值，复制yy

（9）替换，:1$s/nologin/88888/g

1代表第一行

$代表最后一行

s代表替换

/nologin  被替换内容

/88888 替换内容

g代表通行替换

1,$ 就是一个范围，