Linux文件系统与日志分析

目录

• 概述
• 关系
• inode的内容
• inode的号码
• inode的大小
• 命令和inode号之间的关系
• 硬链接和软链接
• 删除文件后空间不释放的处理方法
• 日志文件
• 内核及系统日志
• 用户日志分析
• 程序日志分析
• 十三.日志管理策略

 

---

inode和block

回到顶部

概述

文件数据包括元信息与实际数据。

文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节。

block（块）

连续的八个扇区组成一个block

是文件存取的最小单位

inode（索引节点）

中文译名为“索引节点”，也叫 i 节点

用于存储文件元信息

一个文件必须占用一个inode ，至少占用一个block

回到顶部

关系

文件是存储在硬盘上的，硬盘的最小存储单位叫做“扇区”(sector)，每个扇区存储512字节。

一般连续八个扇区组成一个"块”(block)，一个块是4K大小，是文件存取的最小单位。操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的。

文件数据包括实际数据与元信息（类似文件属性）。文件数据存储在“块"中，存储文件元信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域就叫做inode。 因此，一个文件必须占用一个inode，并且至少占用一个block。

inode不包含文件名。文件名是存放在目录文件夹当中的。Linux 系统中一切皆文件，因此目录也是一种文件。

每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个或多个文件名。

所以，当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找自己文件夹中的目录项，之后找到对应的inode号码；通过inode号码，获取inode信息；根据inode信息，看该用户是否具有访问这个文件的权限；如果有，就指向相对应的数据block，并读取数据。

回到顶部

inode的内容

 inode包含文件的元信息

文件的字节数

文件拥有者的User ID

文件的Group ID

文件的读、写、执行权限

文件的时间戳

注：不包含文件名

 

查看某个文件的inode信息

stat aa.txt

 Linux系统文件三个主要的时间属性

ctime(change time)

最后一次改变文件或目录(属性)的时间

atime(access time)

最后一次访问文件或目录的时间

mtime(modify time)

最后一次修改文件或目录(内容)的时间

目录文件的结构

目录也是一种文件

目录文件的结构

每个inode都有一个号码，操作系统用inode号码来识别不同的文件

Linux系统内部不使用文件名，而使用inode号码来识别文件

对于用户，文件名只是inode号码便于识别的别称

回到顶部

inode的号码

用户通过文件名打开文件时，系统内部的过程：

用户访问文件时，系统先去查找文件所属目录中的目录项，根据文件名找到对应的inode号码。

通过inode号码，获取inode信息。

根据inode信息，判断用户是否具备访问权限。

如果有访问权限，则利用指针去指向实际数据所在的block，读出数据。

如果没有访问权限，则返回Permission denied。根据inode信息，利用指针去指向实际数据所在的block，读出数据。 查看inode号码的方法：

ls -i 命令：查看文件名对应的inode号码

stat 命令：查看文件inode信息中的inode号码

 

回到顶部

inode的大小

inode也会消耗硬盘空间

每个inode的大小

一般是128字节或256字节

格式化文件系统时确定inode的总数

查看每个硬盘分区的inode总数和已经使用的数量

df -i

inode也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据;另一个是inode 区，存放inode 所包含的信息。每个inode 的大小，一般是128字节或256字节

通常情况下不需要关注单个inode的大小，而是需要重点关注inode 总数。inode 的总数在格式化时就给定了，执行"df-i"命令即可查看每个硬盘分区对应的的inode总数和已经使用的inode数量

由于inode 号码与文件名分离，导致Linux系统具备以下几种特有的现象:

1.文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用

2.移动文件或重命名文件，只是改变文件名，不影响inode 号码

3.打开一个文件以后，系统就以inode. 号码来识别这个文件，不再考虑文件名

4.文件数据被修改保存后，会生成一个新的inode 号码

find ./ -inum 52305140 -exec rm -i {} \ ;

find ./ -inum 50464299 -delete

find ./ -inum (inode) | xargs rm -rf

回到顶部

命令和inode号之间的关系

cp 命令：

分配一个空闲的inode号，在inode表中生成新条目

在目录中创建一个目录项，将名称与inode编号关联

拷贝数据生成新的文件

rm 命令：

硬链接数递减，从而释放的inode号可以被重用

把数据块放在空闲列表中

删除目录项

数据实际上不会马上被删除，但当另一个文件使用数据块时将被覆盖

mv命令：

如果mv命令的目标和源在同一设备，

不影响inode表（除时间戳）或磁盘上的数据位置；

系统会删除旧的目录对应关系，新建目录对应关系。

回到顶部

硬链接和软链接

对比项	硬链接	软链接（符号链接)
本质	本质是同一个文件	本质不是同一个文件
inode	和源文件相同	和源文件不同
链接数	创建新的硬链接，链接数会增加；删除硬链接,链接数减少	删除新建不会改变
目录	不支持给目录创建	支持
删除源文件	只是链接数减一，但链接文件的访问不受影响	无法访问链接文件
文件类型	和源文件相同	链接文件，和源文件无关
文件大小	和源文件相同	源文件的路径的长度
能否交叉文件系统	不支持	支持
对不存在的文件	不支持创建硬链接	支持创建软链接

注意：

创建软链接时，源文件必须使用绝对路径。

回到顶部

删除文件后空间不释放的处理方法

删除文件后，如果磁盘空间没有释放，是因为文件正在被其他人打开。 其他人退出使用该文件后空间会被释放。

可以使用 w 命令或 lsof 命令查看是否有人在使用该文件。

回到顶部

日志文件

日志的功能

• 用于记录系统、程序运行中发生的各种事件

• 通过阅读日志，有助于诊断和解决系统故障

日志文件的分类

内核及系统日志

◆由系统服务rsyslog统一进行管理 ，日志格式基本相似

◆主配置文件/etc/rsyslog.conf

用户日志.

◆记录系统用户登录及退出系统的相关信息

程序日志

◆由各种应用程序独立管理的日志文件，记录格式不统一

（由开发人员定义）

日志保存位置

默认位于: /var/log目录下

主要日志文件介绍

内核及公共消息日志

/var/log/messages

记录Linux内核消息及各种应用程序的公共日志信息，包括启动、Io错误、网络错误、程序故障等

对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息

计划任务日志

/var/log/cron

记录crond计划任务产生的事件信息

系统引导日志

/var/log/dmesg

记录Linux系统在引导过程中的各种事件信息

邮件系统日志

/var/log/maillog

记录进入或发出系统的电子邮件活动

用户登录日志

/var /log/lastlog

记录每个用户最近的登录事件,二进制格式

/var/log/secure

记录用户认证相关的安全事件信息

/var/log/wtmp

记录每个用户登录、注销及系统启动和停机事件,二进制格式

/var/run/btmp

记录失败的、错误的登录尝试及验证事件,二进制格式

 

vim /etc/rsyslog.conf

#查看rsyslog.conf配置文件

*.info;mail.none; authpriv.none; cron.none

/var/ log/messages

*.info

#表示info等级及以上的所有等级的信息都写到对应的日志文件里

mail.none

#表示某事件的信息不写到日志文件里(这里比如是邮件)

回到顶部

内核及系统日志

内核及系统日志由系统服务rsyslog 统一管理，主配置文件为/etc/rsyslog.conf

Linux操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下

日志的级别

注：数字等级越小，优先级越高，消息越重要

回到顶部

用户日志分析

保存了用户登录、退出系统等相关信息

• /varlog/lastlog:最近的用户登录事件

• /var/log/wtmp:用户登录、注销及系统开、关机事件

• /var/run/utmp:当前登录的每个用户的详细信息

• /var/log/secure:与用户验证相关的安全性事件

 

分析工具

• users、who、W、last、 lastb

• last命令用于查询成功登录到系统的用户记录

• lastb命令用于查询登录失败的用户记录

回到顶部

程序日志分析

由相应的应用程序独立进行管理

Web服务: /var/log/httpd/

◆access_ log

//记录客户访问事件

◆error_ log

//记录错误事件

代理服务: Ivar/log/squid/

◆access.log、cache.log

 

分析工具

文本查看、grep过滤检索、Webmin管理套件中查看

awk、sed等文本过滤、格式化编辑工具

Webalizer、Awstats等专用日志分析工具

回到顶部

十三.日志管理策略

及时作好备份和归档

延长日志保存期限

控制日志访问权限

日志中可能会包含各类敏感信息，如账户、口令等

 

集中管理日志

将服务器的日志文件发到统一的日志文件服务器

便于日志信息的统- -收集、整理和分析

杜绝日志信息的意外丢失、恶意篡改或删除