深入理解Linux文件系统与日志分析
结构
inode与block
硬链接与软链接
恢复误删除的文件
分析日志文件
文件是存储在硬盘上的,硬盘的最小存储单位叫做“扇区" (sector) ,每个扇区存储512字节。
一般连续八个扇区组成一个"块" (block) ,一个块是4K大小,是文件存取的最小单位。操作系统读取硬盘的时候,是一次性连续读取多个扇区,即一个块一个块的读取的。
文件数据包括实际数据与元信息(类似文件属性) 。文件数据存储在“块"中,存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode。因此,一个文件必须占用一个inode,并且至少占用一个block.
inode不包含文件名。文件名是存放在目录当中的。Linux系统中一切皆文件,因此目录也是一种文件。
每个inode都有一个号码,操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称,文件名和inode号码是一一对应关系,每个inode号码对应一个文件名。
所以, 当用户在Linux系统中试图访问一个文件时,系统会先根据文件名去查找它对应的inode号码;通过inode号码,获取inode信息;根据inode信息,看该用户是否具有访问这个文件的权限;如果有,就指向相对应的数据block,并读取数据。
inode和block概述
文件数据包括元信息与实际数据
文件存储在硬盘上,硬盘最小存储单位是"扇区”,每个扇区存储512字节
block (块)
- 连续的八个扇区组成一个block(4K)
- 是文件存取的最小单位
inode (索引节点)
- 中文译名为"索引节点",也叫i节点
- 用于存储文件元信息
inode的内容
Linux系统文件三个主要的时间属性
ctime(change time)
atime(access time)
mtime(modify time)
inode的大小
inode也会消耗硬盘空间,所以格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是inode区,存放inode所包含的信息。每个inode的大小,一般是128字节或256字节
通常情况下不需要关注单个inode的大小,而是需要重点关注inode总数。inode的总数在格式化时就给定了,执行"df -i"命令即可查看每个硬盘分区对应的的inode总数和已经使用的inode数量
目录文件的结构
- 目录也是一种文件
- 目录文件的结构
每个inode都有一个号码,操作系统用inode号码来识别不同的文件
Linux系统内部不使用文件名,而使用inode号码来识别文件
对于用户,文件名只是inode号码便于识别的别称
inode的号码
用户通过文件名打开文件时,系统内部的过程
1.系统找到这个文件名对应的inode号码
2."通过inode号码,获取inode信息
3.根据inode信息,找到文件数据所在的block,读出数据
查看inode号码的方法
- ls -i命令: 查看文件名对应的inode号码
ls-i aa.txt
- stat命令: 查看文件inode信息中的inode号码
stat aa.txt
由于inode号码与文件名分离,导致Linux系统具备以下几种特有的现象:
1.文件名包含特殊字符,可能无法正常删除。这时直接删除inode,能够起到删除文件的作用;
2.移动文件或重命名文件,只是改变文件名,不影响inode号码;
3.打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名。
4.文件数据被修改保存后,会生成一个新的inode号码。
示例：
find ./-inum 52305140 -exec rm -i {}\;
find ./-inum 50464299 -delete
inode节点耗尽故障处理
#使用fdisk创建分区/dev/sdb1,分区大小30M即可
fdisk /dev/sdb mkfs.ext4 /dev/sdb1 ####用xfs 测试可能会有误差
mkdir /test mount /dev/sdb1 /mnt df -i
#模拟inode节点耗尽故障
for ((i=1; i<=7680; i++));do touch /test/file$i;done touch {1...7680}.txt
####i=1 初始值
####i<=7680 范围
####i++ 迭代方式
df -i df -h
#删除文件恢复
rm -rf /test/* df -i df -hT
EXT类型文件恢复
extundelete是一个开源的Linux数据恢复工具,支持ext3、ext4文件系统。(ext4只能在centos6版本恢复)
#使用fdisk创建分区/dev/sdc1,格式化ext3文件系统
fdisk /dev/sdc partprobe /dev/sdc mkfs.ext3 /dev/sdc1 mkdir /test mount /dev/sdc1 /test df -hT
#安装依赖包
yum -y install e2fsprogs-devel e2fsprogs-libs
#编译安装extundelete
cd /test wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2 tar jxvf extundelete-0.2.4.tar.bz2 cd extundelete-0.2.4/ ./configure --prefix=/usr/local/extundelete && make && make install In -s /usr/local/extundelete/bin/* /usr/bin/
#模拟删除并执行恢复操作
cd /test echo a>a echo a>b echo a>c echo a>d ls extundelete /dev/sdc1 --inode 2 #查看文件系统/dev/sdc1下存在哪些文件, i节点是从2开始的, 2代表该文件系统最开始的目录。
rm -rf a b extundelete /dev/sdc1 --inode 2 cd ~ umount /test extundelete /dev/sdc1 --restore-all #恢复/dev/sdc1文件系统下的所有内容
#在当前目录下会出现一个RECOVERED_FILES/目录,里面保存了已经恢复的文件
ls RECOVERED_FILES/
xfs类型文件备份和恢复
Centos 7系统默认采用xfs类型的文件, xfs类型的文件可使用xfsdump与xfsrestore工具进行备份恢复。
xfsdump的备份级别有两种: 0表示完全备份；1-9表示增量备份。xfsdump的备份级别默认为0。
- 完全备份：完整备份整个文件，会有大量重复数据
- 增量备份：切割之前的已完整备份的数据，备份增量数据，避免空间浪费
xfsdump的命令格式为:
xfsdump -f 备份存放位置 要备份的路径或设备文件
xfsdump命令常用的选项:
xfsdump使用限制:
#使用fdisk创建分区/dev/sdb1,格式化xfs文件系统
fdisk /dev/sdb mount /dev/sdb1 /data/ cd /data cp /etc/passwd ./ mkdir test touch test/a
#使用xfsdump命令备份整个分区
rpm -ga | grep xfsdump yum install -y xfsdump xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M sdb1] #### -L 省略交互过程
#模拟数据丢失并使用xfsrestore命令恢复文件
cd /data/ rm -rf./* ls
xfsrestore -f /opt/dump_sdb1 /data/
日志文件
日志的功能
- 用于记录系统、程序运行中发生的各种事件
- 通过阅读日志，有助于诊断和解决系统故障
日志文件的分类
- 内核及系统日志
- 由系统服务rsyslog统一进行管理,日志格式基本相似
- 主配置文件/etc/rsyslog.conf
- 用户日志
-
- 记录系统用户登录及退出系统的相关信息
- 程序日志
-
- 由各种应用程序独立管理的日志文件,记录格式不统一
日志保存位置
- 默认位于/var/log目录下
主要日志文件介绍
|
内核及公共消息日志
|
/var/log/messages |
记录Linux内核消息及各种应用程序的公共日志信息,包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。
|
|
计划任务日志
|
/var/log/cron |
记录crondit划任务产生的事件信息。
|
|
系统引导日志
|
/var/log/dmesg |
记录Linux系统在引导过程中的各种事件信息
|
|
邮件系统日志
|
/var/log/maillog |
记录进入或发出系统的电子邮件活动。
|
|
用户登录日志
|
/var/log/lastlog |
记录用户认证相关的安全事件信息。
|
|
/var/log/secure |
记录每个用户最近的登录事件。二进制格式
|
|
|
/var/log/wtmp |
记录每个用户登录、注销及系统启动和停机事件。二进制格式
|
|
|
/var/run/btmp |
记录失败的、错误的登录尝试及验证事件。二进制格式
|
用户日志分析
保存了用户登录、退出系统等相关信息
- /var/log/lastlog:最近的用户登录事件
- /var/log/wtmp:用户登录、注销及系统开、关机事件
- /var/run/utmp:当前登录的每个户的详细信息
- /var/log/secure:与用户验证相关的安全性事件
分析工具
- users, who, w last, lastb
- last命令用于查询成功登录到系统的用户记录
- lastb命令用于查询登录失败的用户记录
程序日志分析
由相应的应用程序独立进行管理
- Web服务: /var/log/httpd/
- access_log //记录客户访问事件
- error log //记录错误事件
- 代理服务: /var/log/squid/
- access.log, cache.log
- 分析工具
- 文本查看、grep过滤检索、Webmin管理套件中查看
- awk、sed等文本过滤、格式化编辑工具
- Webalizer、Awstats等专用日志分析工具
内核及系统日志
由系统服务rsyslog统一管理
- 软件包: rsyslog-7.4.7-16.el7.x86_64
- 主要程序: /sbin/rsyslogd
- 配置文件: /etc/rsyslog.conf
日志消息的级别
| 级号 | 消息 | 级别 | 说明 |
| 0 | EMERG | 紧急 |
会导致主机系统不可用的情况。
|
| 1 | ALERT | 警告 |
必须马上采取措施解决的问题。
|
| 2 | GRIT | 严重 |
比较严重的情况。
|
| 3 | ERR | 错误 |
运行出现错误。
|
| 4 | WARNING | 提醒 |
可能影响系统功能,需要提醒用户的重要事件。
|
| 5 | NOTICE | 注意 |
不会影响正常功能,但是需要注意的事件。
|
| 6 | INFO | 信息 |
一般信息。
|
| 7 | DEBUG | 调试 |
程序或系统调试信息等。
|
公共日志/var/log/messages文件的记录格式
- 时间标签:消息发出的日期和时间。
- 主机名:生成消息的计算机的名称。
- 子系统名称:发出消息的应用程序的名称。
- 消息:消息的具体内容。
程序自己维护日志记录, httpd网站服务程序使用两个日志文件:
- access_log #记录客户访问事件
- error_Iog #记录错误事件
日志管理策略
及时作好备份和归档
延长日志保存期限
控制日志访问权限
- 日志中可能会包含各类敏感信息,如账户、口令等
集中管理日志
- 将服务器的日志文件发到统一的日志文件服务器
- 便于日志信息的统一收集、整理和分析
- 杜绝日志信息的意外丢失、恶意篡改或删除
总结
block与inode
硬链接与软链接
恢复误删除的文件
Linux主要包含的日志文件
Linux系统的日志消息级别
Linux系统中用户日志的查询命令
-
who, w, users, last, lastb
