20145219 《信息安全系统设计基础》第09周学习总结
20145219 《信息安全系统设计基础》第09周学习总结
教材学习内容总结
Unix I/O
-
I/O
1、输入就是从I/O设备拷贝数据到贮存，输出就是从主存拷贝数据到I/O设备。
2、所有的I/O设备都被模型化为文件，而所有的输入输出都被当做对相应文件的读/写。
-
打开文件
1、过程：应用程序向内核发出请求，要求内核打开相应的文件，内核返回文件描述符（一个小的非负整数）。
2、内核记录有关这个文件的所有的信息，应用程序只需要记住这个描述符。
3、Unix外壳创建的每个进程开始时都有三个打开的文件：
- 标准输入（描述符为0）
- 标准输出（描述符为1）
- 标准错误（描述符为2）
分别对应头文件<unistd.h>中的定义常量STDIN_FILENO、STDOUT_FILENO、STDERR_FILENO
-
改变当前的文件位置
1、对于每个打开的文件，内核保持着一个文件位置k，初始为0。这个位置是从文件开头起始的字节偏移量。
2、应用程序可以通过seek操作显式的设置文件的当前位置为k。
-
读写文件
1、读操作：从文件拷贝n>0个字节到存储器，从当前文件位置k开始，然后将k增加到k+n。
2、写操作：从存储器拷贝n>0个字节到一个文件，从当前文件位置k开始，然后更新k。
3、给定一个大小为m字节的文件，k >= m 时执行读操作会触发一个称为end-of-file（EOF）的条件，应用程序能检测到这个条件，但是文件结尾处并没有明确的“EOF符号”。
-
关闭文件
1、过程：应用通知内核关闭文件，内核释放文件打开时的数据结构，恢复描述符，释放存储器资源。
打开和关闭文件
-
打开文件
1、open()函数：若成功，返回值为新文件描述符（返回的描述符总是在进程中当前没有打开的最小描述符）；若出错，返回值为-1
#include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> int open(char *filename,int fliags,mod_it mode)；参数：
-
filename：文件名
-
flags：指明进程打算如何访问这个文件
表示访问方式额外提示： O_RDONLY:只读。 O_WRONLY:只写。 O_RDWR：可读可写。 一位或者多位掩码的或： O_CREAT,表示如果文件不存在，就创建它的一个截断的文件。 O_TRUNC:如果文件已经存在，就截断它。 O_APPEND：在每次写操作前，设置文件位置到文件的结尾处。 -
mode：指定了新文件的访问权限位
每个进程都有一个umask，通过调用umask函数设置。当进程通过带某个带mode参数的open函数用来创建一个新文件的时候，文件的访问权限位被设置为mode & ~umask。
-
-
关闭文件：
1、close()函数：若成功则返回0，不成功则为-1。
#include<unistd.h> int close(int fd); //fd：即文件的描述符。2、 关闭一个已经关闭的描述符程序会出错。
读和写文件
-
读函数
#include<unistd.h> ssize_t read(int fd,void *buf,size_t n); //ssziet被定义为int，有符号;sizet被定义成unsigned int，无符号1、返回值：若成功，返回读字节数，即实际传送的字节数量；若EOF（给定了m字节大小的文件，在从k字节位置开始读或者写的时候，发现k>=m），返回0；若出错，返回-1。
2、含义：read函数从描述符为fd的当前文件位置拷贝最多n个字节到存储器位置buf。
-
写函数
#include<unistd.h> ssize_t write(int fd,const void *buf,size_t n);1、返回值：若成功，返回写的字节数；若出错，返回-1
2、含义：write函数从存储器位置buf拷贝至多n个字节到描述符fd的当前文件位置。
-
通过调用lseek函数，应用程序能够显示地修改当前文件的位置。
-
不足值
1、在某些情况下，read和write传送的字节比应用程序要求的要少（这些不表示有错误）：
- 读时遇到EOF。
- 从终端读文本行。
- 读和写网络套接字。
2、实际上除了EOF，在读写磁盘文件时，不会遇到不足值。如果想创建健壮的诸如web服务器这样的网络应用，就必须通过反复调用read和write处理不足值，直到所有需要的字节都传送完毕。
用RIO包健壮地读写
-
RIO包会自动处理不足值。
-
RIO提供了两类不同的函数：
- 无缓冲的输入输出函数。这些函数直接在存储器和文件之间传送数据，没有应用级缓冲，对将二进制数据读写到网络和从网络读写二进制数据尤其有用。
- 带缓冲的输入函数。这些函数允许高效地从文件中读取文本行和二进制数据（函数从内部缓冲区中拷贝一个文本行，当缓冲区变空的时候，会自动地调用read重新填满缓冲区），这些文件的内容缓存在应用级缓冲区内，类似于像printf这样的标准I/O函数提供的缓冲区。带缓冲的RIO输入函数是线程安全的，它在同一个描述符上可以被交错地调用。
-
RIO的无缓冲的输入输出函数
#include "csapp.h" ssize_t rio_readn(int fd,void *usrbuf,size_t n); ssize_t rio_writen(int fd,void *usrbuf,size_t n);1、rio_readn函数从描述符fd的当前文件位置最多传送n和字节到存储器位置usrbuf，遇到EOF时只能返回一个不足值。返回值：若成功为传送的字节数；EOF为0（一个不足值）；出错为-1。
2、rio_writen函数从位置usrbuf传送n个字节到描述符fd。返回值：若成功为传送的字节数；出错为-1；绝不会返回不足值。
3、对于同一个描述符，可以任意交错地调用rio_readn和rio_writen。通过调用rio_readn和rio_writen函数，应用程序可以在存储器和文件之间直接传送数据。
-
RIO的带缓冲的输入函数
以实现计算文本文件中文本行的数量为例：
#include "csapp.h" void rio_readinitb(rio_t *rp, int fd); ssize_t rio_readlineb(rio_t *rp,void *usrbuf, size_t maxlen); ssize_t rio_readnb(rio_t *rp, void *usrbuf, size_t n);1、rio_readinitb函数将描述符fd和地址rp处的一个类型为rio_t的读缓存区联系起来。
2、rio_readlineb函数从文件rp中读出一个文本行，包括换行符，拷贝到存储器位置usrbuf，并用空字符结束这个文本行。最多读到maxlen-1个字节，最后一个给结尾的空字符。
3、rio_readnb函数从文件rp中读取最多n个字符到存储器位置usrbuf中。
4、返回值：成功则返回传送的字节数，EOF为0，出错为-1。
5、一个文本行就是一个由换行符结尾的ASCII码字符序列。在Unix系统中，换行符（‘\n'）与ASCII码换行符（LF）相同，数字值为0x0a。
-
RIO读程序的核心是rio_read函数
读取文件元数据
-
元数据
1、应用程序能够通过调用stat和fstat函数，检索到关于文件的信息（元数据）。
#include <unistd.h> #include <sys/stat.h> int stat(cost char *filename,struc sta *buf);//stat函数以文件名作为输入 int fstat(int fd,struct stat *buf);//fstat函数以文件描述符作为输入2、stat数据结构
- st_size成员包含了文件的字节数大小
- st_mode成员编码了文件访问许可位和文件类型
2、Unix提供的宏指令根据st_mode成员来确定文件的类型
宏指令：S_ISREG() 普通文件 二进制或文本数据 宏指令：S_ISDIR() 目录文件 包含其他文件的信息 宏指令：S_ISSOCK() 网络套接字 通过网络和其他进程通信的文件
共享文件
-
内核表示打开文件的三个相关的数据结构
- 描述符表：每个打开的描述符表项指向文件表中的一个表项
- 文件表：所有进程共享这张表，每个表项包括文件位置，引用计数，以及一个指向v-node表对应表项的指针
- v-node表：所有进程共享这张表，包含stat结构中的大多数信息
-
典型的打开文件的内核数据结构
描述符各自引用不同的文件，没有共享文件。
-
文件共享
多个描述符通过不同的文件表表项引用同一个文件。
-
父子进程共享文件
子进程继承父进程打开文件。
I/0重定向
-
Unix外壳提供了I/O重定向操作符，允许用户将磁盘文件和标准输入输出联系起来
-
重定向工作方式：使用dup2函数
#include<unistd.h> int dup2(int oldfd,int newfd); //dup2函数拷贝描述符表表项oldfd到描述符表表项newfd，覆盖描述表表项newfd以前的内容。 -
若newfd已经打开，dup2会在拷贝oldfd之前关闭newfd
标准I/O和I/O函数
-
ANSI C定义了一组高级输入输出函数，称为标准I/O库。提供了打开和关闭文件的函数（fopen和fclose），读和写字节的函数（fread和fwrite），读和写字符串的函数（fgets和fputs），格式化I/O函数（scanf和printf）
-
标准I/O库将一个打开的文件模型化为一个流。一个流就是一个指向FILE类型的结构的指针。
-
每个ANSI C程序开始时都有三个打开的流：
#include<stdio.h> extern FILE *stdin; //标准输入，描述符0 extern FILE *stdout; //标准输出，描述符1 extern FILE *stderr; //标准错误，描述符2 -
类型为FILE的流是对文件描述符和流缓存区的抽象。流缓冲区的目的和RIO读缓冲区的一样，就是使开销较高的UnixI/O系统调用的数量尽可能的少。
-
I/O关系
-
Unix I/O是在操作系统内核中实现的。
-
较高级别的RIO和标准I/O函数都是基于Unix函数来实现的。
-
RIO函数是专为本书开发的read和write的健壮的包装函数。他们自动处理不足值，并且为读文本行提供一种高效的带缓冲的方法
-
标准I/O函数提供了Unix函数的一个更加完整的带缓冲的替代品，包括格式化的I/O例程。标准I/O流，从某种意义上是全双工的，但对流的限制和对套接字的限制有时会相互冲突。
- 限制一：跟在输出函数之后的输入函数
- 限制二：分在输入函数的输出函数
因此，建议在网络套接字上不要使用标准 I/O函数来进行输入和输出，而要使用健壮的RIO函数。
-
课后练习题
-
10.1
-
10.2
-
10.3
-
10.4
dup2(5,0) -
10.5
代码调试中的问题和解决过程
-
问题1：本周的代码都涉及到一个头文件
csapp.h，编译代码时遇到csapp不存在的问题
-
解决方法：通过上网查找发现
csapp.h文件其实是作者自己弄的一个头文件，Linux中并不包含这个。网上说在教材配套网站http://csapp.cs.cmu.edu/public/code.html上可以下载，但是这个网站打不开……最后，我在CSDN.NET上找到了csapp.h和csapp.c，按照网上说的在csapp.h文件中#endif前加上了#include"csapp.c"，并用sudo mv csapp.h csapp.c /usr/include命令将csapp.h和csapp.c文件放到了/usr/include文件夹中，并用gcc xxx.c -o xxx -lpthread语句通过了编译（因为代码中包含多线程）。 -
问题2：问题2其实是问题1的延续，当我通过编译后，准备运行时，新的问题出现了：运行可执行文件时提示
no such file or directory，但是我用ls命令显示当前文件夹内容时可执行文件是存在的……
-
解决方法：参考卢肖明同学发表的博客，将代码中的Open、Close替换成open、close，就可以运行了。之后将其他有大写字母的函数都替换成小写，其他的代码也就可以运行了。
-
问题3：运行p598练习题10.1时，我的运行结果是
fd=-1，不是应该出现的正确结果fd=3
-
解决方法：我看着
fd=-1的结果，想到之前学习课本open函数时，如果返回值是-1的话说明打开出错，只有打开成功，返回值为新文件描述符（返回的描述符总是在进程中当前没有打开的最小描述符）。后来，我打开代码又一次从第一行开始看，突然发现，我之前只顾着解决代码不能正常编译、运行的问题，却忘了新建两个open函数要打开的文件foo.txt和baz.txt，新建之后就成功了。之后的其他代码也像这个一样就没有问题了。
本周代码托管截图
- 代码托管连接
- 第1~4周项目分文件夹时弄乱了已删除，从第五周开始存在新项目里。
- PS：git上学期用还好好的，这学期就总是会出问题，果然当初新建项目时很重要，新建的项目格式有问题之后调整就很费劲，总是会莫名其妙（其实是对git命令的含义不了解）的传不上去，或者全部覆盖（碰见问题按照百度解决时跟自己预期的结果不同）……还好我的代码一直留着，覆盖也只是重新传一次相同的，就是上传时间会改……
本周代码行数统计截图
其他（感悟、思考等，可选）
本周学习了系统的输入、输出，了解了一些I/O函数，只看书的页数的话，本章的页数很少，相较于之前几周感觉轻松不少。但是，页数少并不意味着不重要或是用时少，认真去理解系统的输入、输出对于我们理解程序的运行至关重要，而每一个函数的参数、不同情况的返回值也需要我们仔细研读。
学习进度条
| 代码行数（新增/累积） | 博客量（新增/累积） | 学习时间（新增/累积） | 重要成长 | |
|---|---|---|---|---|
| 目标 | 5000行 | 30篇 | 400小时 | |
| 第零周 | 0/0 | 1/1 | 15/15 | 安装虚拟机 |
| 第一周 | 0/0 | 1/2 | 25/40 | 学习Linux命令 |
| 第二周 | 62/62 | 1/3 | 25/65 | 学习C编程 |
| 第三周 | 176/238 | 1/4 | 20/85 | 学习数的表示和计算 |
| 第五周 | 57/295 | 1/5 | 20/105 | 学习汇编语言，了解逆向思想 |
| 第六周 | 150/445 | 1/6 | 25/130 | 学习Y86处理器和HCL硬件描述语言 |
| 第七周 | 115/560 | 1/7 | 20/150 | 学习存储器相关知识 |
| 第八周 | 0/560 | 2/9 | 30/180 | 期中总结 |
| 第九周 | 186/746 | 2/11 | 20/200 | Unix I/O及相关函数 |
