十三章读书笔记
第13章学习笔记
一、梗概
- 本章论述了TCP/IP和网络编程，分为两个部分。第一部分论述了TCP/IP协议及其应用，具体包括TCP/IP栈、IP地址、主机名、DNS、IP数据包和路由器;介绍了TCP/IP网络中的UDP和TCP协议端口号和数据流;阐述了服务器一客户机计算模型和套接字编程接口;通过使用UDP和TCP套接字的示例演示了网络编程。第一个编程项目可实现一对通过互联网执行文件操作的TCP服务器-客户机，可让用户定义其他通信协议来可靠地传输文件内容。
- 本章的第二部分介绍了Web和CGI编程，解释了HTTP编程模型、Web页面和Web浏览器;展示了如何配置LinuxHTTPD服务器来支持用户Web页面、PHP和CGI编程;阐
释了客户机和服务器端动态Web负面:演示如何使用PHP和CGI创建服务器端动态Weh页面。
二、知识点归纳
1、TCP/IP协议
从字面意义上讲，有人可能会认为 TCP/IP 是指 TCP 和 IP 两种协议。实际生活当中有时也确实就是指这两种协议。然而在很多情况下，它只是利用 IP 进行通信时所必须用到的协议群的统称。具体来说，IP 或 ICMP、TCP 或 UDP、TELNET 或 FTP、以及 HTTP 等都属于 TCP/IP 协议。他们与 TCP 或 IP 的关系紧密，是互联网必不可少的组成部分。TCP/IP 一词泛指这些协议，因此，有时也称 TCP/IP 为网际协议群。
互联网进行通信时，需要相应的网络协议，TCP/IP 原本就是为使用互联网而开发制定的协议族。因此，互联网的协议就是 TCP/IP，TCP/IP 就是互联网的协议。
2、IP主机和IP地址
- 主机是支持TCP/IP协议的计算机或设备。每个主机由一个32位的IP地址来标识。为了方便起见32位的IP地址号通常用点记法表示，例如:134121641，其中各个字节用点号分开。主机也可以用主机名来表示，如dnsleecwsuedu。实际上，应用程序通常使用主机名而不是IP地址。在这个意义上说，主机名就等同于IP地址，因为给定其中一个，我们可以通过DNS(域名系统)(RFC1341987RFC10351987)服务器找到另一个，它将IP地址转换为主机名，反之亦然。
- IP地址分为两部分，即NetworkID字段和HostID字段。根据划分，IP地址分为A~F类。例如，一个B类IP地址被划分为一个16位NetworkID，其中前2位是10，然后是一个16位的HostID字段。发往IP地址的数据包首先被发送到具有相同networkID的路由器。路由器将通过HostID将数据包转发到网络中的特定主机。每个主机都有一个本地主机名 localhost默认IP地址为127001。本地主机的链路层是一个回送虚拟设备，它将每个数据包路由回同一个localhost。这个特性可以让我们在同一台计算机上运行TCP/IP应用程序而不需要实际连接到互联网。
3、IP协议
- IP(Internet Protocol)协议的英文名直译就是：因特网协议，简称为“网协”，也就是为计算机网络相互连接进行通信而设计的协议。在因特网中，它是能使连接到网上的所有计算机网络实现相互通信的一套规则，规定了计算机在因特网上进行通信时应当遵守的规则。任何厂家生产的计算机系统，只要遵守 IP协议就可以与因特网互连互通。IP地址具有唯一性，根据用户性质的不同，可以分为5类。另外，IP还有进入防护，知识产权，指针寄存器等含义。
1）IP就是一张身份证，存在于电脑、手机、监控摄像头、汽车等任何需要联网的设备上面；
2）IP是可以被追踪到和定位的，无论是网上发帖造谣生事或通过黑客技术攻击别人，所做的事情都会基于IP和其他ID信息被服务器记录下来，然后"阿sir"就可以追踪并抓到你。
4、IP数据包格式
TCP/IP协议定义了一个在因特网上传输的包,称为IP数据报(IP Datagram).这是一个与硬件无关的虚拟包,由首部和数据两部分组成.首部的前一部分是固定长度,共 20 字节,是所有IP数据报必须具有的.在首部的固定部分的后面是一些可选字段,其长度是可变的。
5、UDP
- UDP(用户数据报协议)(RFC7681980;Comer1988)在IP上运行，用于发送/接收数据报。与IP类似，UDP不能保证可靠性，但是快速高效。它可用于可靠性不重要的情况。
例如，用户可以使用ping命令探测目标主机，如ping主机名或pingIP地址
ping是一个向目标主机发送带时间戳UDP包的应用程序。接收到一个pinging数据包后，目标主机将带有时间戳的UDP包回送给发送者，让发送者可以计算和显示往返时间
如果目标主机不存在或宕机，当TTL减小为0时，路由器将会丢弃pingingUDP数据包。在这种情况下，用户会发现目标主机没有任何响应。用户可以尝试再次ping，或者断定目标主机宕机。在这种情况下，最好使用UDP，因为不要求可靠性。
6、TCP
- 传输控制协议（TCP，Transmission Control Protocol）是一种面向连接的、可靠的、基于字节流的传输层通信协议，由IETF的RFC 793 [1] 定义。
TCP旨在适应支持多网络应用的分层协议层次结构。 连接到不同但互连的计算机通信网络的主计算机中的成对进程之间依靠TCP提供可靠的通信服务。TCP假设它可以从较低级别的协议获得简单的，可能不可靠的数据报服务。 原则上，TCP应该能够在从硬线连接到分组交换或电路交换网络的各种通信系统之上操作。
TCP的三次握手
7、套接字编程
在网络编程中，TCP/IP的用户界面是通过一系列C语言库函数和系统调用来实现的，这些函数和系统调用统称为套接字API((Rago1993;Stevens等2004)。为了使用套接字 API，我们需要套接字地址结构，它用于标识服务器和客户机。netdbh和sys/socketh中有套接字地址结构的定义。
1）套接字地址
struct sockaddr_in {
sa_family_t sin_family; // AF_INET for TCP/IP
in port_t sinport; // port number
struct in_addr sin_addr; // IP address
};
struct in_addr{ //internet address
uint32_t s_addr; // IP address in network byte order
};
在套接字地址结构中，
TCP/IP网络的sin family始终设置为AFINET。 sin port包含按网络字节顺序排列的端口号。
sinaddr是按网络字节顺序排列的主机IP地址。
2)套接字API
服务器必须创建一个套接字，并将其与包含服务器IP地址和端口号的套接字地址绑定。它可以使用一个固定端口号，或者让操作系统内核选择一个端口号(如果sin_port为0)。为了与服务器通信，客户机必须创建一个套接字。对于UPD套接字，可以将套接字绑定到服务器地址。如果套接字没有绑定到任何特定的服务器，那么它必须在后续的sendto() recyfrom()调用中提供一个包含服务器IP和端口号的套接字地址。下面给出了socket()系统调用，它创建一个套接字并返回一个文件描述符
1、int套接字(int域，int类型int协议)示例:
int udp_sock=socket(AF INETSOCK_DGRAM,0);将会创建一个用于发送/接收UDP数据报的套接字。
int tep_sock= socket(AF_INET,SOCK_STREAM,0);
将会创建一个用于发送/接收数据流的面向连接的TCP套接字。
新创建的套接字没有任何相联地址。它必须与主机地址和端口号绑定，以识别接收主机或发送主机。这通过bind0系统调用来完成。
2、int bind(int sockfd,struct sockaddr *addr,socklen_t addrlen)
bind()系统调用将addr指定的地址分配给文件描述符sockfd所引用的套接字，addrlen指定addr所指向地址结构的大小(以字节为单位)。对于用于联系其他UDP服务器主机的 UDP套接字，必须绑定到客户机地址，允许服务器发回应答。对于用于接收客户机连接的TCP套接字，必须先将其绑定到服务器主机地址。
3、UDP套接字
UDP套接字使用sendto()/recvfrom0)来发送/接收数据报。
ssizetsendto(int sockfd, const void *buf, sizet len, int flags,
const struct sockaddr *dest_addr, socklen_t addrlen);
ssizet recvfrom(int sockfd, void *buf, size_t len, int flags,
struct sockaddr *src_addr, socklent *addrlen);
sendto()将缓冲区中的len字节数据发送到由destaddr标识的目标主机，该目标主机包含目标主机IP和端口号。recvfrom()从客户机主机接收数据。除了数据之外，它还用客户机的IP和端口号填充srcaddr，从而允许服务器将应答发送回客户机。
4、TCP套接字
在创建套接字并将其绑定到服务器地址之后，TCP服务器使用listen()和accept()来接收来自客户机的连接
int listen(int sockfdint backlog);
listen()将sockfd引用的套接字标记为将用于接收入连接的套接字。backlog参数定义了等待连接的最大队列长度。
int accept(int sockfd,struct sockaddr *addr,socklen t *addrlen);
accept()系统调用与基于连接的套接字一起使用。它提取等待连接队列上的第一个连接请求用于监听套接字sockfd，创建一个新的连接套接字，并返回一个引用该套接字的新文件描述符，与客户机主机连接。在执行accept()系统调用时TCP服务器阻塞，直到客户机通过 connect))建立连接。
三、最有收获的内容
路由器的原理与功能
- 路由器最主要的功能可以理解为实现信息的转送。因此，我们把这个过程称之为寻址过程。因为在路由器处在不同网络之间，但并不一定是信息的最终接收地址。所以在路由器中, 通常存在着一张路由表。根据传送网站传送的信息的最终地址，寻找下一转发地址，应该是哪个网络。其实深入简出的说，就如同快递公司来发送邮件。邮件并不是瞬间到达最终目的地，而是通过不同分站的分拣，不断的接近最终地址，从而实现邮件的投递过程的。路由器寻址过程也是类似原理。通过最终地址，在路由表中进行匹配，通过算法确定下一转发地址。这个地址可能是中间地址，也可能是最终的到达地址。
路由器的功能就是将不同的子网之间的数据进行传递。 具体功能有以下几点：
（1）实现IP、TCP、UDP、ICMP等网络的互连。
（2）对数据进行处理。收发数据包，具有对数据的分组过滤、复用、加密、压缩及防护墙等各项功能。
（3）依据路由表的信息，对数据包下一传输目的地进行选择。
（4） 进行外部网关协议和其他自治域之间拓扑信息的交换。
（5） 实现网络管理和系统支持功能。
路由器工作在OSI模型三层（网络层）
收到数据包后根据OSI模型层层将数据包拆开，到网络层后根据IP进行路由转发
根据接口协议层层封装，实现异种网络的互联
四、实践内容
TCP套接字编程实例
本例是利用以上基本函数编写的一个完整的TCP客户/服务器程序。完成一个回射服务器的功能：
（1）客户从标准输入读入一行文本，并写给服务器；
（2）服务器从网络读入这行文本，并回射给客户；
（3）客户从网络输入读入这行文本，并显示在标准输出上。
代码：
config.h
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/socket.h>
#include <sys/types.h>
#include <unistd.h>
#include <errno.h>
#include <netinet/in.h>
#include <netdb.h>
#include <arpa/inet.h>
const int MAX_LINE = 2048;
const int PORT = 6000;
const int BACKLOG = 10;
const int LISTENQ = 6666;
const int MAX_CONNECT = 20;
server.c
#include "config.h"
int main(int argc , char **argv)
{
/*声明服务器地址和客户链接地址*/
struct sockaddr_in servaddr , cliaddr;
/*声明服务器监听套接字和客户端链接套接字*/
int listenfd , connfd;
pid_t childpid;
/*声明缓冲区*/
char buf[MAX_LINE];
socklen_t clilen;
/*(1) 初始化监听套接字listenfd*/
if((listenfd = socket(AF_INET , SOCK_STREAM , 0)) < 0)
{
perror("socket error");
exit(1);
}//if
/*(2) 设置服务器sockaddr_in结构*/
bzero(&servaddr , sizeof(servaddr));
servaddr.sin_family = AF_INET;
servaddr.sin_addr.s_addr = htonl(INADDR_ANY); //表明可接受任意IP地址
servaddr.sin_port = htons(PORT);
/*(3) 绑定套接字和端口*/
if(bind(listenfd , (struct sockaddr*)&servaddr , sizeof(servaddr)) < 0)
{
perror("bind error");
exit(1);
}//if
/*(4) 监听客户请求*/
if(listen(listenfd , LISTENQ) < 0)
{
perror("listen error");
exit(1);
}//if
/*(5) 接受客户请求*/
for( ; ; )
{
clilen = sizeof(cliaddr);
if((connfd = accept(listenfd , (struct sockaddr *)&cliaddr , &clilen)) < 0 )
{
perror("accept error");
exit(1);
}//if
//新建子进程单独处理链接
if((childpid = fork()) == 0)
{
close(listenfd);
//str_echo
ssize_t n;
char buff[MAX_LINE];
while((n = read(connfd , buff , MAX_LINE)) > 0)
{
write(connfd , buff , n);
}
exit(0);
}//if
close(connfd);
}//for
/*(6) 关闭监听套接字*/
close(listenfd);
}
client.c
#include "config.h"
/*readline函数实现*/
ssize_t readline(int fd, char *vptr, size_t maxlen)
{
ssize_t n, rc;
char c, *ptr;
ptr = vptr;
for (n = 1; n < maxlen; n++) {
if ( (rc = read(fd, &c,1)) == 1) {
*ptr++ = c;
if (c == '\n')
break; /* newline is stored, like fgets() */
} else if (rc == 0) {
*ptr = 0;
return(n - 1); /* EOF, n - 1 bytes were read */
} else
return(-1); /* error, errno set by read() */
}
*ptr = 0; /* null terminate like fgets() */
return(n);
}
int main(int argc , char ** argv)
{
/*声明套接字和链接服务器地址*/
int sockfd;
struct sockaddr_in servaddr;
/*判断是否为合法输入*/
if(argc != 2)
{
perror("usage:tcpcli <IPaddress>");
exit(1);
}//if
/*(1) 创建套接字*/
if((sockfd = socket(AF_INET , SOCK_STREAM , 0)) == -1)
{
perror("socket error");
exit(1);
}//if
/*(2) 设置链接服务器地址结构*/
bzero(&servaddr , sizeof(servaddr));
servaddr.sin_family = AF_INET;
servaddr.sin_port = htons(PORT);
if(inet_pton(AF_INET , argv[1] , &servaddr.sin_addr) < 0)
{
printf("inet_pton error for %s\n",argv[1]);
exit(1);
}//if
/*(3) 发送链接服务器请求*/
if( connect(sockfd , (struct sockaddr *)&servaddr , sizeof(servaddr)) < 0)
{
perror("connect error");
exit(1);
}//if
/*(4) 消息处理*/
char sendline[MAX_LINE] , recvline[MAX_LINE];
while(fgets(sendline , MAX_LINE , stdin) != NULL)
{
write(sockfd , sendline , strlen(sendline));
if(readline(sockfd , recvline , MAX_LINE) == 0)
{
perror("server terminated prematurely");
exit(1);
}//if
if(fputs(recvline , stdout) == EOF)
{
perror("fputs error");
exit(1);
}//if
}//while
/*(5) 关闭套接字*/
close(sockfd);
}
五、问题与总结
1、互联网中TCP Socket服务器的实现过程需要考虑哪些安全问题？
答：
在Internet环境下，安全问题我主要分为如下几类：
1、信息传输过程中被黑客窃取
2、服务器自身的安全
3、服务端数据的安全
首先，如果能用https，就尽量用https，能用nginx等常见服务器，就用常见服务器，主要能避免以下问题：
自己实现的协议&Server端可能会有各种Bug，被缓冲区溢出攻击等
SSL加密体系在防监听方面已经足够成熟，值得信赖。
工程实现过程中，要考虑：
各种可能的缓冲区溢出攻击
SYN flood攻击，慢连接攻击
DDoS防起来有难度，但至少能防御DoS攻击
业务逻辑层面，要考虑：
每个接口都要做好用户&权限验证
接口会不会被人乱用，重放攻击
攻击方会不会找到一个比较消耗服务端资源的接口，用很小的代价耗尽服务端资源
用户的用户名密码会不会被通过接口破解，参见：2014 celebrity photo hack
你的服务会不会被黑客利用去攻击别的服务，特别是会根据用户输入抓取什么资源的服务
古老的SQL注入
无耻的仿冒服务，DNS欺诈
涉及HTML的，还要考虑跨站……
2、如何防止SQL注入攻击？
答：
1、使用参数化筛选语句
为了防止SQL注入，用户输入不能直接嵌入到SQL语句中。相反，用户输入必须被过滤或参数化。参数语句使用参数，而不是将用户输入嵌入语句中。在大多数情况下，SQL语句是正确的。然后，用户输入仅限于一个参数。
一般来说，有两种方法可以确保应用程序不易受到SQL注入攻击。一种是使用代码审查，另一种是强制使用参数化语句。强制使用参数化语句意味着在运行时将拒绝嵌入用户输入中的SQL语句。但是，目前对此功能的支持不多。
2、避免使用解释程序，这是黑客用来执行非法命令的手段。
3、防止SQL注入，但也避免一些详细的错误消息，因为黑客可以使用这些消息。标准的输入验证机制用于验证所有输入数据的长度、类型、语句和企业规则。
4、使用专业的漏洞扫描工具。
但是，防范SQL注入攻击是不够的。攻击者现在自动搜索和攻击目标。它的技术甚至可以很容易地应用于其他Web体系结构中的漏洞。企业应该投资于专业的漏洞扫描工具，如著名的Accunetix网络漏洞扫描程序。完美的漏洞扫描器不同于网络扫描器，它专门在网站上查找SQL注入漏洞。最新的漏洞扫描程序可以找到最新发现的漏洞。
