python之--网络编程
网络编程
一.计算机网络的发展及基础网络概念
问题：网络到底是什么？计算机之间是如何通信的？
1.广播:
主机之间'一对所有'的通讯模式,网络对其中每一台主机发出的信号都进行无条件复制并转发,所有主机都可以接收到所有信息(不管你是否需要),由于其不用路径选择,所以其网络成本可以很低廉.有线电视就是典型的广播型网络,我们的电视机实际上是接受到所有频道的信号,但只讲一个频道的信息还原成画面.在数据网络中也允许广播的存在,但其被限制在二层交换机的局域网范围内,禁止广播数据穿过路由器,防止广播数据影响大面积的主机.
2.ip地址与ip协议
ip协议:规定网络地址的协议
ip地址:ip协议定义的地址
广泛采用的ipv4版本,它规定网络地址由32位2进制表示,范围为0.0.0.0--255.255.255.255
一个ip地址通常写成四段十进制数,例:192.168.19.44
3.mac地址(物理地址)
head中包含的源和目标地址由来:ethernet规定接入internet的设备都必须具备网卡，发送端和接收端的地址便是指网卡的地址，即mac地址。
mac地址：每块网卡出厂时都被烧制上一个世界唯一的mac地址，长度为48位2进制，通常由12位16进制数表示（前六位是厂商编号，后六位是流水线号）
4.arp协议
通过目标的ip地址获取目标的mac地址的一个过程.
主机发送信息时将包含目标IP地址的ARP请求广播到网络上的所有主机，并接收返回消息，以此确定目标的物理地址。
5.广域网与路由器
路由器:
6.局域网
局域网（Local Area Network，LAN）是指在某一区域内由多台计算机互联成的计算机组。一般是方圆几千米以内。局域网可以实现文件管理、应用软件共享、打印机共享、工作组内的日程安排、电子邮件和传真通信服务等功能。局域网是封闭型的，可以由办公室内的两台计算机组成，也可以由一个公司内的上千台计算机组成。
7.子网掩码
所谓”子网掩码”，就是表示子网络特征的一个参数。它在形式上等同于IP地址，也是一个32位二进制数字，它的网络部分全部为1，主机部分全部为0。比如，IP地址172.16.10.1，如果已知网络部分是前24位，主机部分是后8位，那么子网络掩码就是11111111.11111111.11111111.00000000，写成十进制就是255.255.255.0。
知道”子网掩码”，我们就能判断，任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算（两个数位都为1，运算结果为1，否则为0），然后比较结果是否相同，如果是的话，就表明它们在同一个子网络中，否则就不是。
比如，已知IP地址172.16.10.1和172.16.10.2的子网掩码都是255.255.255.0，请问它们是否在同一个子网络？两者与子网掩码分别进行AND运算， 172.16.10.1：10101100.00010000.00001010.000000001 255255.255.255.0:11111111.11111111.11111111.00000000 AND运算得网络地址结果：10101100.00010000.00001010.000000001->172.16.10.0 172.16.10.2：10101100.00010000.00001010.000000010 255255.255.255.0:11111111.11111111.11111111.00000000 AND运算得网络地址结果：10101100.00010000.00001010.000000001->172.16.10.0 结果都是172.16.10.0，因此它们在同一个子网络。
总结一下:ip协议的作用主要有两个,一个是为每台计算机分配ip地址,另一个是确定哪些地址在同一子网络.
二.TCP协议和UDP 协议
用于应用程序之间的通信.如果说ip地址和mac地址帮我们确定唯一的一台机器,那么我们怎么找到一台机器上的一个软件呢?
1.端口
我们知道，一台拥有IP地址的主机可以提供许多服务，比如Web服务、FTP服务、SMTP服务等，这些服务完全可以通过1个IP地址来实现。那么，主机是怎样区分不同的网络服务呢？显然不能只靠IP地址，因为IP 地址与网络服务的关系是一对多的关系。实际上是通过“IP地址+端口号”来区分不同的服务的。
2.TCP协议
当应用程序希望通过 TCP 与另一个应用程序通信时，它会发送一个通信请求。这个请求必须被送到一个确切的地址。在双方“握手”之后，TCP 将在两个应用程序之间建立一个全双工 (full-duplex) 的通信。
这个全双工的通信将占用两个计算机之间的通信线路，直到它被一方或双方关闭为止。
TCP协议的'三次握手,四次挥手':
tcp协议:
三次握手 : 注意必须是client先发起请求
1 client发送给server我想连接你,可以么
2 server回复client,可以,我也想连接你,可以吗?
3 client回复server,可以
四次挥手 : 谁先发起请求都可以
1 client发送请求:我准备断开连接了,我没有数据需要发送了,
如果你有数据可以继续发给我
2 server回复:确认接收到你的请求,我开始着手准备断开事宜
3 server回复:我准备好了,可以随时断开连接
4 client回复:断开连接吧
3.UDP协议
当应用程序希望通过UDP与一个应用程序通信时，传输数据之前源端和终端不建立连接。
当它想传送时就简单地去抓取来自应用程序的数据，并尽可能快地把它扔到网络上。
4.TCP协议与UDP协议
TCP---传输控制协议,提供的是面向连接、可靠的字节流服务。当客户和服务器彼此交换数据前，必须先在双方之间建立一个TCP连接，之后才能传输数据。TCP提供超时重发，丢弃重复数据，检验数据，流量控制等功能，保证数据能从一端传到另一端。
UDP---用户数据报协议，是一个简单的面向数据报的运输层协议。UDP不提供可靠性，它只是把应用程序传给IP层的数据报发送出去，但是并不能保证它们能到达目的地。由于UDP在传输数据报前不用在客户和服务器之间建立一个连接，且没有超时重发等机制，故而传输速度很快
总结:TCP协议:安全可靠面向连接
UDP协议:不安全不可靠不面向连接,但是快
现在Internet上流行的协议是TCP/IP协议，该协议中对低于1024的端口都有确切的定义，他们对应着Internet上一些常见的服务。这些常见的服务可以分为使用TCP端口（面向连接）和使用UDP端口（面向无连接）两种。
说到TCP和UDP,首先要明白“连接”和“无连接”的含义，他们的关系可以用一个形象地比喻来说明，就是打电话和写信。两个人如果要通话，首先要建立连接——即打电话时的拨号，等待响应后——即接听电话后，才能相互传递信息，最后还要断开连接——即挂电话。写信就比较简单了，填写好收信人的地址后将信投入邮筒，收信人就可以收到了。从这个分析可以看出，建立连接可以在需要痛心地双方建立一个传递信息的通道，在发送方发送请求连接信息接收方响应后，由于是在接受方响应后才开始传递信息，而且是在一个通道中传送，因此接受方能比较完整地收到发送方发出的信息，即信息传递的可靠性比较高。但也正因为需要建立连接，使资源开销加大（在建立连接前必须等待接受方响应，传输信息过程中必须确认信息是否传到及断开连接时发出相应的信号等），独占一个通道，在断开连接钱不能建立另一个连接，即两人在通话过程中第三方不能打入电话。而无连接是一开始就发送信息（严格说来，这是没有开始、结束的），只是一次性的传递，是先不需要接受方的响应，因而在一定程度上也无法保证信息传递的可靠性了，就像写信一样，我们只是将信寄出去，却不能保证收信人一定可以收到。
TCP是面向连接的，有比较高的可靠性， 一些要求比较高的服务一般使用这个协议，如FTP、Telnet、SMTP、HTTP、POP3等。
而UDP是面向无连接的，使用这个协议的常见服务有DNS、SNMP、QQ等。对于QQ必须另外说明一下，QQ2003以前是只使用UDP协议的，其服务器使用8000端口，侦听是否有信息传来，客户端使用4000端口，向外发送信息（这也就不难理解在一般的显IP的QQ版本中显示好友的IP地址信息中端口常为4000或其后续端口的原因了），即QQ程序既接受服务又提供服务，在以后的QQ版本中也支持使用TCP协议了。
三.互联网协议与OSI模型
互联网协议按照功能不同分为:
每层运行常见的协议:
四.软件开发的架构
我们了解的涉及到两个程序之间通讯的应用大致可以分为两种：
第一种是应用类：qq、微信、网盘、优酷这一类是属于需要安装的桌面应用
第二种是web类：比如百度、知乎、博客园等使用浏览器访问就可以直接使用的应用
这些应用的本质其实都是两个程序之间的通讯。而这两个分类又对应了两个软件开发的架构～
1.C/S架构
C/S即：Client与Server ，中文意思：客户端与服务器端架构，这种架构也是从用户层面（也可以是物理层面）来划分的。
这里的客户端一般泛指客户端应用程序EXE，程序需要先安装后，才能运行在用户的电脑上，对用户的电脑操作系统环境依赖较大。
2.B/S架构
B/S即：Browser与Server,中文意思：浏览器端与服务器端架构，这种架构是从用户层面来划分的。
Browser浏览器，其实也是一种Client客户端，只是这个客户端不需要大家去安装什么应用程序，只需在浏览器上通过HTTP请求服务器端相关的资源（网页资源），客户端Browser浏览器就能进行增删改查。
五.socket套接字
套接字起源于 20 世纪 70 年代加利福尼亚大学伯克利分校版本的 Unix,即人们所说的 BSD Unix。 因此,有时人们也把套接字称为“伯克利套接字”或“BSD 套接字”。一开始,套接字被设计用在同 一台主机上多个应用程序之间的通讯。这也被称进程间通讯,或 IPC。套接字有两种（或者称为有两个种族）,分别是基于文件型的和基于网络型的。
socket参数的详解
socket.socket(family=AF_INET,type=SOCK_STREAM,proto=0,fileno=None)
sk = socket.socket(family=socket.AF_INET,type=socket.SOCK_STREAM,)
参数1 family: 套接字类型
参数2 type : 通信协议类型 tcp协议,udp协议
tcp协议:SOCK_STREAM
udp协议:SOCK_DGRAM
family=socket.AF_INET 采用网络形式通信的套接字
family=socket.AF_UNIX 采用文件类型通信的套接字
基于文件类型的套接字家族
套接字家族的名字：AF_UNIX
unix一切皆文件，基于文件的套接字调用的就是底层的文件系统来取数据，两个套接字进程运行在同一机器，可以通过访问同一个文件系统间接完成通信
基于网络类型的套接字家族
套接字家族的名字：AF_INET
(还有AF_INET6被用于ipv6，还有一些其他的地址家族，不过，他们要么是只用于某个平台，要么就是已经被废弃，或者是很少被使用，或者是根本没有实现，所有地址家族中，AF_INET是使用最广泛的一个，python支持很多种地址家族，但是由于我们只关心网络编程，所以大部分时候我么只使用AF_INET)
理解socket
Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个门面模式，它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部，让Socket去组织数据，以符合指定的协议。
其实站在你的角度上看，socket就是一个模块。我们通过调用模块中已经实现的方法建立两个进程之间的连接和通信。 也有人将socket说成ip+port，因为ip是用来标识互联网中的一台主机的位置，而port是用来标识这台机器上的一个应用程序。 所以我们只要确立了ip和port就能找到一个应用程序，并且使用socket模块来与之通信。
六.套接字(socket)初使用
1.基于TCP协议的socket
tcp是基于链接的，必须先启动服务端，然后再启动客户端去链接服务端
server端
import socket sk = socket.socket() sk.bind(('127.0.0.1', 9988)) sk.listen() while True: conn, addr = sk.accept() while True: msg_r = conn.recv(1024).decode('utf-8') print(msg_r) if msg_r.upper() == 'Q': continue msg_s = input('>>>').strip() conn.send(msg_s.encode('utf-8')) if msg_s.upper() == 'Q': break conn.close() sk.close()
client端
import socket sk = socket.socket() sk.connect(('127.0.0.1', 9988)) while True: msg_s = input('>>>').strip() sk.send(msg_s.encode('utf-8')) if msg_s.upper() == 'Q': break msg_r = sk.recv(1024).decode('utf-8') print(msg_r) if msg_r.upper() == 'Q': break sk.close()
2.基于UDP协议的socket
udp是无链接的，启动服务之后可以直接接受消息，不需要提前建立链接
server端:(在终端显示颜色)
import socket sk = socket.socket(type=socket.SOCK_DGRAM)# udp协议 sk.bind(('127.0.0.1',9090)) dic = {'alex':'\033[0;33;42m','太白':'\033[0;35;40m'} while 1: msg_r,addr = sk.recvfrom(1024)# 接收来自哪里的消息 msg_r = msg_r.decode('utf-8')# alex : 我要退学 # 对于msg_r,通过':'分割,获取下标为0的,也就是name,再去掉name的左右两边的空格 name = msg_r.split(':')[0].strip() color = dic.get(name,'')# 获取字典中 name所对应的 颜色值 print('%s%s \033[0m'%(color,msg_r)) if msg_r == 'q':# 如果当前客户端想要断开连接 continue # 服务器端不应该继续通话了,应该等待接收另一个客户端的连接,返回到recvfrom msg_s = input('>>>') sk.sendto(msg_s.encode('utf-8'), addr) if msg_s == 'q': break sk.close()
client端
import socket sk = socket.socket(type=socket.SOCK_DGRAM) name = input('请输入您的名字:>>>') while 1: msg_s = input('>>>') msg_s = name + " : "+msg_s sk.sendto(msg_s.encode('utf-8'),('127.0.0.1',9090))# 发给谁一条消息 if msg_s is 'q': break msg_r,addr = sk.recvfrom(1024) msg_r = msg_r.decode('utf-8') print(msg_r) if msg_r == 'q': break sk.close()
3.基于UDP协议的时间同步机制
server端
import socket import time sk = socket.socket(type=socket.SOCK_DGRAM) sk.bind(('127.0.0.1',9090)) while 1: tm_format,addr = sk.recvfrom(1024) tm_format = tm_format.decode('utf-8')# %Y-%m\%d %H:%M:%S local_tm = time.strftime(tm_format)# 获取到了对应格式的当前时间 sk.sendto(local_tm.encode('utf-8'),addr)# 返回给客户端 sk.close()
client端
import socket import time sk = socket.socket(type=socket.SOCK_DGRAM) tm_format = input('>>>') while 1: sk.sendto(tm_format.encode('utf-8'),('127.0.0.1',9090)) local_tm,addr = sk.recvfrom(1024) print(local_tm.decode('utf-8')) time.sleep(2)
4.QQ聊天(基于UDP协议)
import socket sk = socket.socket(type=socket.SOCK_DGRAM) sk.bind(('127.0.0.1', 9988)) while True: msg_r,addr = sk.recvfrom(1024) print('来自[%s:%s]的一条消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],msg_r.decode('utf-8'))) msg_s = input('回复消息:').strip() sk.sendto(msg_s.encode('utf-8'),addr) sk.close()
import socket sk = socket.socket(type=socket.SOCK_DGRAM) while True: msg_s = input('请输入聊天内容:').strip() sk.sendto(msg_s.encode('utf-8'),('127.0.0.1', 9988)) msg_r,addr = sk.recvfrom(1024) print('来自[%s:%s]的一条消息:\033[1;42m%s\033[0m' % (addr[0], addr[1], msg_r.decode('utf-8'))) sk.close()
