Linux文件系统与日志分析
1.inode与block
文件数据包括元信息与实际数据；
文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节；
block(块)：连续的八个扇区组成一个 block(4K)，是文件存取的最小单位；
inode(索引节点)：中文译名为“索引节点”，也叫i节点，用于存储文件元信息。
一个文件必须占用一个inode，但至少占用一个block
（1）inode的内容
（1）inode包含文件的元信息：文件的字节数；文件拥有者的User ID（不包含文件名）；文件的Group ID；文件的读、写、执行权限；文件的时间戳等
stat 文件名 ###查看文件的元信息
stat 文件名 或 ls -i 文件名 ###查看文件的inode号
（2）Linux系统文件三个主要的时间属性
atime(access time)：最后一次访问文件或目录的时间。
mtime(modify time)：最后一次修改文件或目录(内容)的时间。
ctime(change time)：最后一次改变文件或目录(属性)的时间。
（3）目录文件的结构：目录也是一种文件；目录文件的结构
每个inode都有一个号码，操作系统用inode号码来识别不同的文件
Linux系统内部不使用文件名，而使用inode号码来识别文件
对于用户，文件名只是inode号码便于识别的别称
（2）inode的号码
用户通过文件名打开文件时，系统内部的过程：
系统找到这个文件名对应的inode号码
通过inode号码，获取inode信息
根据inode信息，找到文件数据所在的block，读出数据
查看inode号码的方法：
ls -i 文件名 ###查看文件名对应的inode号码
stat 文件名 ###查看文件inode信息中的inode号码
硬盘分区后的结构
访问文件的简单流程
用户通过文件名访问文件的过程：
先根据文件名找到对应的inode号；再通过inode号获取inode信息；再根据inode信息判断用户是否具有访问权限；如果有则指向实际数据的块并读取数据，否则拒绝访问。
（3）inode的大小
inode也会消耗硬盘空间：每个inode的大小，一般是128字节或256字节
格式化文件系统时确定inode的总数
df -i ###查看每个硬盘分区的inode总数和已经使用的数量
（4）inode的特殊作用
由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象：
当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件；
移动或重命名文件时，只改变文件名,不影响inode号码；
打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名。
直接查看、修改文件内容或者改变文件名都不会影响 inode号，使用 vi 编辑器修改文件保存退出后会影响 inode号
针对无法正常删除文件名含有特殊符号的文件时，可根据 inode号 来删除文件
find 目录 -inum <inode号> -delete
2.硬链接与软连接
| 硬链接 | 软链接 |
|---|---|
| 删除源文件不会失效 | 删除源文件会失效 |
| ln 源文件路径 链接文件路径 | ln -s 源文件路径 链接文件路径 |
| 只适用于文件 | 适用于文件和目录 |
| 硬链接文件必须要和源文件在一个分区 | 软链接文件可以和源文件不在一个分区 |
| 硬链接文件和源文件inode号相同 | 软链接文件和源文件inode号不同 |
3.恢复误删的文件
（1）恢复EXT类型的文件
编译安装extundelete软件包
安装依赖包
e2fsprogs-libs-1.41.12-18.el6.x86 64.rpm
e2fsprogs-devel-1.41.12-18.el6.x86 64.rpm
配置、编译及安装
extundelete-0.2.4.tar.bz2
模拟删除并执行恢复操作
echo $PATH
ln -s /usr/local/extundelete/bin/extundelete /usr/local/bin/
extundelete /dev/sdb1 --inode 2
umount /dev/sdb1 #解挂
extundelete /dev/sdb1 --restore-all
*注：EXT类型的文件inode号占完，不能再创建新文件
（2）恢复XFS类型的文件
xfsdump -f备份存放位置 要备份的路径或设备文件
xfsdump备份级别(默认为0)：
0:完全备份
1-9:增量备份
| 常用选项 | |
|---|---|
| -f | 指定备份文件目录 |
| -L | 指定标签 session label |
| -M | 指定设备标签 media label |
| -s | 备份单个文件，-s 后面不能直接跟路径 |
xfsrestore -f 恢复文件的位置 存放恢复后文件的位置
模拟删除并执行恢复操作
xfsdump使用限制
只能备份已挂载的文件系统
必须使用root的权限才能操作
只能备份XFS文件系统
备份后的数据只能让xfsrestore解析
不能备份两个具有相同UUID的文件系统
*注：XFS类型的文件inode号占完，能再创建新文件，多个10~30左右，XFS有冗余机制
4.分析日志文件
（1）日志文件
（1）日志的功能：
用于记录系统、程序运行中发生的各种事件；通过阅读日志，有助于诊断和解决系统故障
（2）日志文件的分类：
①内核及系统日志：由系统服务rsyslog统一进行管理，日志格式基本相似；主配置文件/etc/rsyslog.conf
②用户日志：记录系统用户登录及退出系统的相关信息
③程序日志：由各种应用程序独立管理的日志文件，记录格式不统一
（3）日志保存位置
默认位于:/var/log目录下
| 主要日志文件介绍 | |
|---|---|
| /var/log/messages | 记录Linux内核消息及各种应用程序的公共日志信息，包括启动、10错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，件记录信息 |
| /var/log/cron | 记录crond计划任务产生的事件信息 |
| /var/log/dmesg | 记录Linux系统在引导过程中的各种事件信息 |
| /var/log/maillog | 记录进入或发出系统的电子邮件活动 |
| /var/log/secure | 记录用户认证相关的安全事件信息 |
| /var/log/lastlog | 记录每个用户最近的登录事件 |
| /var/log/rpmpkgs | 记录系统中安装的各rpm包列表信息 |
| /var/log/wtmp | 记录每个用户登录、注销及系统启动和停机事件 |
| /var/run/btmp | 记录失败的、错误的登录尝试及验证事件 |
（2）内核及系统日志
（1）由系统服务 rsyslog 统一管理
软件包:rsyslog-7.4.7-16.el7.x86_64
主要程序:/sbin/rsyslogd
配置文件:/etc/rsyslog.conf
（2）日志消息的级别
| 级号 | 消息 | 级别 | 说明 |
|---|---|---|---|
| 0 | EMERG | 紧急 | 会导致主机系统不可用的情况。如系统崩溃 |
| 1 | ALERT | 警告 | 必须马上采取措施解决的问题。如数据库被破坏 |
| 2 | CRIT | 严重 | 比较严重的情况。如硬盘错误，可能会阻碍程序的部分功能 |
| 3 | ERR | 错误 | 运行出现错误。不是非常紧急，尽快修复的 |
| 4 | WARNING | 提醒 | 可能会影响系统功能的事件。不是错误，如磁盘用了85%等 |
| 5 | NOTICE | 注意 | 不会影响系统但值得注意。无需处理 |
| 6 | INFO | 信息 | 一般信息。正常的系统信息 |
| 7 | DEBUG | 调试 | 程序或系统调试信息等。包含详细开发的信息，调试程序时使用 |
| none | 没有优先级，不记录任何日志消息。 |
（3）日志记录的一般格式
（3）用户日志分析
保存了用户登录、退出系统等相关信息
| 用户日志 | |
|---|---|
| /var/log/lastlog | 最近的用户登录事件 |
| /var/log/wtmp | 用户登录、注销及系统开、关机事件 |
| /var/run/utmp | 当前登录的每个用户的详细信息 |
| /var/log/secure | 与用户验证相关的安全性事件 |
（1）分析工具
users 、who、w、last、lastb
last 命令用于查询成功登录到系统的用户记录
lastb 命令用于查询登录失败的用户记录
（4）程序日志分析
由相应的应用程序独立进行管理
Web服务:/var/log/httpd/
access_log //记录客户访问事件
error_log //记录错误事件
代理服务:/var/log/squid/
access.log、cache.log
分析工具
文本查看、grep过滤检索、Webmin管理套件中查看
awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具
（5）Linux系统日志管理
journalctl -r ###查看所有日志（默认情况下，只保存本次启动的日志）,-r表示倒序，从尾部看
journalctl -u 服务名 [-f] ### 查看某个服务的日志
journalctl -k ###查看内核日志（不显示应用日志）
journalctl -b -0/-1 ###查看系统 本次/上一次 启动的日志
journalctl _PID=<进程PID> ###查看指定进程的日志
journalctl _UID=<账户UID> ###查看指定用户的日志
*注：集中式收集管理日志方案
rsyslog
shell/python脚本
ELK(elasticsearch+logstash+kibana)
Loki+promtail+grafana
