17 . Go之网络编程

互联网的本质

两台计算机之间的通信与两个人打电话原理是一样的.

# 1. 首先要通过各种物理连接介质连接
# 2. 找准确对方计算机(准确到软件)的位置
# 3. 通过统一的标准(一般子协议)进行数据的转发

# 物理连接介质,这个是网络工程师所考虑的,后面也会给大家简单的讲到,咱们主要就是学习这统一的标准。

# 英语成为世界上所有人通信的统一标准,如果把计算机看成分布于世界各地的人,那么连接两台计算机之间的internet实际上就是一系列统一的标准,这些标准称之为互联网协议,互联网的本质就是一系列的协议,总称为‘互联网协议’(Internet Protocol Suite).

# 互联网协议的功能:定义计算机如何接入internet,以及接入internet的计算机通信的标准。

自从互联网诞生以来,现在基本上所有的程序都是网络程序,很少有单机版的程序了.

计算机网络就是把各个计算机连接到一起,让网络中的计算机可以互相通信。网络编程就是如何在程序中实现两台计算机的通信。

举个例子,当你使用浏览器访问新浪网时,你的计算机就和新浪的某台服务器通过互联网连接起来了,然后,新浪的服务器把网页内容作为数据通过互联网传输到你的电脑上。

由于你的电脑上可能不止浏览器,还有QQ、Skype、Dropbox、邮件客户端等,不同的程序连接的别的计算机也会不同,所以,更确切地说,网络通信是两台计算机上的两个进程之间的通信。比如,浏览器进程和新浪服务器上的某个Web服务进程在通信,而QQ进程是和腾讯的某个服务器上的某个进程在通信。

TCP/IP简介

虽然大家现在对互联网很熟悉,但是计算机网络的出现比互联网要早很多。

计算机为了联网,就必须规定通信协议,早期的计算机网络,都是由各厂商自己规定一套协议,IBM、Apple和Microsoft都有各自的网络协议,互不兼容,这就好比一群人有的说英语,有的说中文,有的说德语,说同一种语言的人可以交流,不同的语言之间就不行了。

为了把全世界的所有不同类型的计算机都连接起来,就必须规定一套全球通用的协议,为了实现互联网这个目标,互联网协议簇(Internet Protocol Suite)就是通用协议标准。Internet是由inter和net两个单词组合起来的,原意就是连接“网络”的网络,有了Internet,任何私有网络,只要支持这个协议,就可以联入互联网。

因为互联网协议包含了上百种协议标准,但是最重要的两个协议是TCP和IP协议,所以,大家把互联网的协议简称TCP/IP协议。

通信的时候,双方必须知道对方的标识,好比发邮件必须知道对方的邮件地址。互联网上每个计算机的唯一标识就是IP地址,类似123.123.123.123。如果一台计算机同时接入到两个或更多的网络,比如路由器,它就会有两个或多个IP地址,所以,IP地址对应的实际上是计算机的网络接口,通常是网卡

IP协议负责把数据从一台计算机通过网络发送到另一台计算机。数据被分割成一小块一小块,然后通过IP包发送出去。由于互联网链路复杂,两台计算机之间经常有多条线路,因此,路由器就负责决定如何把一个IP包转发出去。IP包的特点是按块发送,途径多个路由,但不保证能到达,也不保证顺序到达。

  						IP地址实际上是一个32位整数(称为IPv4),以字符串表示的IP地址如`192.168.0.1`实际上是把32位整数按8位分组后的数字表示,目的是便于阅读。
  					
  						IPv6地址实际上是一个128位整数,它是目前使用的IPv4的升级版,以字符串表示类似于`2001:0db8:85a3:0042:1000:8a2e:0370:7334`。
  					
  						TCP协议则是建立在IP协议之上的。TCP协议负责在两台计算机之间建立可靠连接,保证数据包按顺序到达。TCP协议会通过握手建立连接,然后,对每个IP包编号,确保对方按顺序收到,如果包丢掉了,就自动重发。
  					
  						许多常用的更高级的协议都是建立在TCP协议基础上的,比如用于浏览器的HTTP协议、发送邮件的SMTP协议等。
  					
  						一个TCP报文除了包含要传输的数据外,还包含源IP地址和目标IP地址,源端口和目标端口。
  					
  						端口有什么作用?在两台计算机通信时,只发IP地址是不够的,因为同一台计算机上跑着多个网络程序。一个TCP报文来了之后,到底是交给浏览器还是QQ,就需要端口号来区分。每个网络程序都向操作系统申请唯一的端口号,这样,两个进程在两台计算机之间建立网络连接就需要各自的IP地址和各自的端口号。
  					
  						一个进程也可能与多个计算机建立链接,因此他会申请很多端口.
  					
  							了解了TCP/IP协议的基本概念,IP地址和端口的概念,我们就可以开始进行网络编程了。

软件开发架构

CS架构,BS架构

客户端英文名称:Client,

浏览器英文名称:Browser.

服务端英文名称:Server.

C/S架构:基于客户端与用户端之间的架构。例如:QQ、微信、优酷、暴风影音等等。

  • 优点:C/S架构的界面和操作非常丰富满足客户的个性化要求,安全性很容易保证,响应速度较快。
  • 缺点:需要开发客户端和服务器两套程序,开发成本维护成本较高,兼容性差,用户群固定等。

B/S架构:基于C/S架构的一种特殊的C/S架构,浏览器与服务端之间的架构。

  • 优点:分布性强,客户端几乎无需维护,开发简单,共享性强,维护简单方便。
  • 缺点:个性化低,安全性以及响应速度需要花费巨大设计成本。

小结:CS响应速度快,安全性强,一般应用于局域网中,但是开发维护成本高;BS可以实现跨平台,客户端零维护,但是个性化能力低,响应速度较慢。所以有些单位日常办公应用BS,在实际生产中使用CS结构。

# C/S 架构
	C: 客户端
	S: 服务端

# B/S 架构
	B: 浏览器
	S: 服务端
        
# C/S架构:  需要安装一下才能使用
# 		client  客户端:  我们用的  需要安装的
# 		server	服务端

# B/S架构: 百度 博客园 谷歌 码云
# 		browser	浏览器
# 		server	服务器

# b/s和c/s什么关系?
# B/S架构是C/S架构的一种

# C/S架构的好处
# 	可以离线使用/功能更完善/安全性更好

# B/S架构
# 	不用安装就可以使用
# 	统一PC端用户的入口

# 手机端: 好像C/S架构比较火,其实不然,微信小程序,支付宝第三方接口都类似于B/S架构
# 目的都在于统一接口: 聚集用户群

# PC端: BS比较火
# 本质: B/S架构本身也是C/S架构

客户端与服务端概念

# 服务端: 24小时不间断提供服务,谁来我就服务谁
# 客户端: 想体验服务的时候,就去找服务端体验服务

学习网络编程能干什么

# 开发C/S架构的软件

学习并发,数据库,前端能干什么

# 开发B/S架构的软件

网络编程技术起源

# 绝大部分先进技术的兴起基本来自于军事,网络编程这项技术来源于美国军事,为了实现数据的远程传输.

人类实现远程沟通交流的方式

# 插电话线的电话
# 插网线的大屁股电脑
# 插无线网卡的笔记本电脑

# 综上我们能够总结出第一个规律:要想实现远程通信第一个需要具备的条件就是: 物理连接介质
# 再来想人与人之间交流,中国人说中文,外国人说外语,
# 那如果想实现不同国家的人之间无障碍沟通交流是不是得规定一个大家都能听得懂的语言>>>英语
# 再回来看计算机领域,计算机之间要想实现远程通信除了需要有物理连接介质之外是不是也应该有一套公共的标准?这套标准就是
# >>>OSI七层协议(也叫OSI七层模型)

OSI七层协议(模型)

# 应用层
# 表示层
# 会话层
# 传输层
# 网络层
# 数据链路层
# 物理连接层

# 也有人将其归纳为五层
# 应用层
# 传输层
# 网络层
# 数据链路层
# 物理连接层
物理层

物理层由来: 上面提到,孤立的计算机之间要想一起玩,就必须接入internet,言外之意就是计算机之间必须完成组网.

物理层功能: 主要是基于电路特性发送高低电压(电信号),高电压对应数字1,低电压对应数字0

# 实现计算机之间物理连接,传输的数据都是010101的二进制
# 电信号工作原理: 点只有高低电平

光纤

双绞线

数据链路层

数据链路层由来: 单纯的电信号0和1没有任何意义,必须规定电信号多少位一组,每组什么意思.

数据链路层的功能: 定义了电信号的分组方式

以太网协议

早期的时候各个公司都有自己的分组方式,后来形成了统一的标准,即以太网协议ethernet

ethernet规定

一组电信号构成一个数据豹,叫做‘帧’

每一数据帧分成:报头head和数据data两部分

Head Data
报头 数据
# head包含:(固定18个字节)
    # 发送者/源地址,6个字节
	# 接收者/目标地址,6个字节
	# 数据类型,6个字节
    
# data包含: (最短46字节,最长1500字节)
	# 数据包的具体内容
# head长度 + data长度 = 最短64字节,最长1518字节,超过限制就分片发送

mac地址

head中包含的源和目标地址由来:ethernet规定接入internet的设备都必须具备网卡,发送端和接收端的地址便是指网卡的地址,即mac地址

mac地址:每块网卡出厂时都被烧制上一个世界唯一的mac地址,长度为48位2进制,通常由12位16进制数表示(前六位是厂商编号,后六位是流水线号)

广播

有了mac地址,同一网络内的两台主机就可以通信了(一台主机通过arp协议获取另外一台主机的mac地址)

ethernet采用最原始的方式,广播的方式进行通信,即计算机通信基本靠吼

# 1. 规定了二进制数据的分组方式
# 2. 规定了只要是接入互联网的计算机,都必须有一块网卡
# 网卡上刻有世界唯一的编号
# 每块网卡出厂时都会被烧制上一个世界上唯一的mac地址
#  长度为48位2进制,通常由12位16进制数表示(前六位是厂商编号,后六位是流水线号)   
#  我们管网卡上刻有的编号叫电脑的>>>mac地址  
#  —–>上面的两个规定其实就是 “以太网协议”!

# 基于以太网协议通信: 通信基本靠吼!!!  弊端: 广播风暴
# 交换机: 如果没有交换机,你的电脑就变成了马蜂窝,有了交换机吼,所有的电脑只需要一个网卡连接交换机,即可实现多台电脑之间物理连接
网络层

网络层由来:有了ethernet、mac地址、广播的发送方式,世界上的计算机就可以彼此通信了,问题是世界范围的互联网是由

一个个彼此隔离的小的局域网组成的,那么如果所有的通信都采用以太网的广播方式,那么一台机器发送的包全世界都会收到,

这就不仅仅是效率低的问题了,这会是一种灾难

上图结论:必须找出一种方法来区分哪些计算机属于同一广播域,哪些不是,如果是就采用广播的方式发送,如果不是,

就采用路由的方式(向不同广播域/子网分发数据包),mac地址是无法区分的,它只跟厂商有关

网络层功能:引入一套新的地址用来区分不同的广播域/子网,这套地址即网络地址

IP协议:

  • 规定网络地址的协议叫ip协议,它定义的地址称之为ip地址,广泛采用的v4版本即ipv4,它规定网络地址由32位2进制表示
  • 范围0.0.0.0-255.255.255.255
  • 一个ip地址通常写成四段十进制数,例:172.16.10.1

ip地址分成两部分

  • 网络部分:标识子网
  • 主机部分:标识主机

注意:单纯的ip地址段只是标识了ip地址的种类,从网络部分或主机部分都无法辨识一个ip所处的子网

例:172.16.10.1与172.16.10.2并不能确定二者处于同一子网

子网掩码

所谓”子网掩码”,就是表示子网络特征的一个参数。它在形式上等同于IP地址,也是一个32位二进制数字,它的网络部分全部为1,主机部分全部为0。比如,IP地址172.16.10.1,如果已知网络部分是前24位,主机部分是后8位,那么子网络掩码就是11111111.11111111.11111111.00000000,写成十进制就是255.255.255.0。

知道”子网掩码”,我们就能判断,任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算(两个数位都为1,运算结果为1,否则为0),然后比较结果是否相同,如果是的话,就表明它们在同一个子网络中,否则就不是。

比如,已知IP地址172.16.10.1和172.16.10.2的子网掩码都是255.255.255.0,请问它们是否在同一个子网络?两者与子网掩码分别进行AND运算,

172.16.10.1:10101100.00010000.00001010.000000001

255255.255.255.0:11111111.11111111.11111111.00000000

AND运算得网络地址结果:10101100.00010000.00001010.000000001->172.16.10.0

172.16.10.2:10101100.00010000.00001010.000000010

255255.255.255.0:11111111.11111111.11111111.00000000

AND运算得网络地址结果:10101100.00010000.00001010.000000001->172.16.10.0

结果都是172.16.10.0,因此它们在同一个子网络。

总结一下,IP协议的作用主要有两个,一个是为每一台计算机分配IP地址,另一个是确定哪些地址在同一个子网络。

ip数据包

ip数据包也分为head和data部分,无须为ip包定义单独的栏位,直接放入以太网包的data部分

head:长度为20到60字节

data:最长为65,515字节。

而以太网数据包的”数据”部分,最长只有1500字节。因此,如果IP数据包超过了1500字节,它就需要分割成几个以太网数据包,分开发送了。

以太网头 ip 头 ip数据

ARP协议

arp协议由来:计算机通信基本靠吼,即广播的方式,所有上层的包到最后都要封装上以太网头,然后通过以太网协议发送,在谈及以太网协议时候,我门了解到

通信是基于mac的广播方式实现,计算机在发包时,获取自身的mac是容易的,如何获取目标主机的mac,就需要通过arp协议

arp协议功能:广播的方式发送数据包,获取目标主机的mac地址

协议工作方式:每台主机ip都是已知的

例如:主机172.16.10.10/24访问172.16.10.11/24

一:首先通过ip地址和子网掩码区分出自己所处的子网

场景 数据包地址
同一子网 目标主机mac,目标主机ip
不同子网 网关mac,目标主机ip

二:分析172.16.10.10/24与172.16.10.11/24处于同一网络(如果不是同一网络,那么下表中目标ip为172.16.10.1,通过arp获取的是网关的mac)

源mac 目标mac 源ip 目标ip 数据部分
发送端主机 发送端mac FF:FF:FF:FF:FF:FF 172.16.10.10/24 172.16.10.11/24 数据

三:这个包会以广播的方式在发送端所处的自网内传输,所有主机接收后拆开包,发现目标ip为自己的,就响应,返回自己的mac

# 规定了计算机都必须有一个ip地址  
# ip地址特点:点分十进制  
# 有两个版本ipv4和ipv6 为了能够兼容更多的计算机  
# 最小:0.0.0.0  
# 最大:255.255.255.255  
# IP协议可以跨局域网传输
# ip地址能够唯一标识互联网中独一无二的一台机器!
# [http://14.215.177.39/](http://14.215.177.39/)
传输层(端口协议)

传输层的由来:网络层的ip帮我们区分子网,以太网层的mac帮我们找到主机,然后大家使用的都是应用程序,你的电脑上可能同时开启qq,暴风影音,等多个应用程序,

那么我们通过ip和mac找到了一台特定的主机,如何标识这台主机上的应用程序,答案就是端口,端口即应用程序与网卡关联的编号。

传输层功能:建立端口到端口的通信

补充:端口范围0-65535,0-1023为系统占用端口

tcp协议:

可靠传输,TCP数据包没有长度限制,理论上可以无限长,但是为了保证网络的效率,通常TCP数据包的长度不会超过IP数据包的长度,以确保单个TCP数据包不必再分割。

以太网头 ip 头 tcp头 数据

tcp报文

tcp三次握手和四次挥手

udp协议:

不可靠传输,”报头”部分一共只有8个字节,总长度不超过65,535字节,正好放进一个IP数据包。

以太网头 ip头 udp头 数据
# TCP,UDP基于端口工作的协议!  
# 其实计算机之间通信其实是计算机上面的应用程序于应用之间的通信  
# 端口(port):唯一标识一台计算机上某一个基于网络通信的应用程序  
# 端口范围:0~~65535(动态分配)  
# 注意:0~~1024通常是归操作系统分配的端口号  
# 通常情况下,我们写的软件端口号建议起在8000之后  
# flask框架默认端口5000  
# django框架默认端口8000  
# mysql数据库默认端口3306  
# redis数据库默认端口6379  
# 注意:一台计算机上同一时间一个端口号只能被一个应用程序占用

# 小总结:  
# IP地址:唯一标识全世界接入互联网的独一无二的机器  
# port端口号:唯一标识一台计算机上的某一个应用程序  
# ip+port :能够唯一标识全世界上独一无二的一台计算机上的某一个应用程序

# 补充:  
# arp协议:根据ip地址解析mac地址
应用层(HTTP协议,FTP协议)

应用层由来:用户使用的都是应用程序,均工作于应用层,互联网是开发的,大家都可以开发自己的应用程序,数据多种多样,必须规定好数据的组织形式

应用层功能:规定应用程序的数据格式。

例:TCP协议可以为各种各样的程序传递数据,比如Email、WWW、FTP等等。那么,必须有不同协议规定电子邮件、网页、FTP数据的格式,这些应用程序协议就构成了”应用层”。

1

TCP\UDP协议(流式协议,可靠协议)
# 三次握手四次挥手
# 三次握手建连接
# 四次挥手断连接

# Tcp(语音聊天/视频聊天),线下缓存高强电影\QQ远程控制
# 需要先建立连接,然后才能通信
# 占用连接\可靠(消息不会丢失)\实时性高\慢

# UDP(发消息) - 在线播放视频\QQ发消息\微信消息
# 不需要建立连接,就可以通信
# 不占用连接\不可靠\消息因为网络不稳定丢失\快
网络通信实现

想实现网络通信,每台主机需具备四要素

  • 本机的IP地址
  • 子网掩码
  • 网关的IP地址
  • DNS的IP地址

获取这四要素分两种方式

1.静态获取

即手动配置

2.动态获取

通过dhcp获取

以太网头 ip头 udp头 dhcp数据包

(1)最前面的”以太网标头”,设置发出方(本机)的MAC地址和接收方(DHCP服务器)的MAC地址。前者就是本机网卡的MAC地址,后者这时不知道,就填入一个广播地址:FF-FF-FF-FF-FF-FF。

(2)后面的”IP标头”,设置发出方的IP地址和接收方的IP地址。这时,对于这两者,本机都不知道。于是,发出方的IP地址就设为0.0.0.0,接收方的IP地址设为255.255.255.255。

(3)最后的”UDP标头”,设置发出方的端口和接收方的端口。这一部分是DHCP协议规定好的,发出方是68端口,接收方是67端口。

这个数据包构造完成后,就可以发出了。以太网是广播发送,同一个子网络的每台计算机都收到了这个包。因为接收方的MAC地址是FF-FF-FF-FF-FF-FF,看不出是发给谁的,所以每台收到这个包的计算机,还必须分析这个包的IP地址,才能确定是不是发给自己的。当看到发出方IP地址是0.0.0.0,接收方是255.255.255.255,于是DHCP服务器知道”这个包是发给我的”,而其他计算机就可以丢弃这个包。

接下来,DHCP服务器读出这个包的数据内容,分配好IP地址,发送回去一个”DHCP响应”数据包。这个响应包的结构也是类似的,以太网标头的MAC地址是双方的网卡地址,IP标头的IP地址是DHCP服务器的IP地址(发出方)和255.255.255.255(接收方),UDP标头的端口是67(发出方)和68(接收方),分配给请求端的IP地址和本网络的具体参数则包含在Data部分。

新加入的计算机收到这个响应包,于是就知道了自己的IP地址、子网掩码、网关地址、DNS服务器等等参数

网络通信流程

本机获取

  • 本机的IP地址:192.168.1.100
  • 子网掩码:255.255.255.0
  • 网关的IP地址:192.168.1.1
  • DNS的IP地址:8.8.8.8

4.2 打开浏览器,访问

  想要访问Google,在地址栏输入了网址:www.google.com。

dns协议(基于udp协议)

13台根dns:

A.root-servers.net198.41.0.4美国
B.root-servers.net192.228.79.201美国(另支持IPv6
C.root-servers.net192.33.4.12法国
D.root-servers.net128.8.10.90美国
E.root-servers.net192.203.230.10美国
F.root-servers.net192.5.5.241美国(另支持IPv6
G.root-servers.net192.112.36.4美国
H.root-servers.net128.63.2.53美国(另支持IPv6
I.root-servers.net192.36.148.17瑞典
J.root-servers.net192.58.128.30美国
K.root-servers.net193.0.14.129英国(另支持IPv6)
L.root-servers.net198.32.64.12美国
M.root-servers.net202.12.27.33日本(另支持IPv6)

域名定义:http://jingyan.baidu.com/article/1974b289a649daf4b1f774cb.html

顶级域名:以.com,.net,.org,.cn等等属于国际顶级域名,根据目前的国际互联网域名体系,国际顶级域名分为两类:类别顶级域名(gTLD)和地理顶级域名(ccTLD)两种。类别顶级域名是         以"COM"、"NET"、"ORG"、"BIZ"、"INFO"等结尾的域名,均由国外公司负责管理。地理顶级域名是以国家或地区代码为结尾的域名,如"CN"代表中国,"UK"代表英国。地理顶级域名一般由各个国家或地区负责管理。

二级域名:二级域名是以顶级域名为基础的地理域名,比喻中国的二级域有,.com.cn,.net.cn,.org.cn,.gd.cn等.子域名是其父域名的子域名,比喻父域名是abc.com,子域名就是www.abc.com或者.abc.com.
一般来说,二级域名是域名的一条记录,比如alidiedie.com是一个域名,www.alidiedie.com是其中比较常用的记录,一般默认是用这个,但是类似
.alidiedie.com的域名全部称作是alidiedie.com的二级

Socket(套接字编程)

看socket之前,先来回顾一下五层通讯流程:

但实际上从传输层开始以及以下,都是操作系统帮咱们完成的,下面的各种包头封装的过程,用咱们去一个一个做么?NO!

  Socket又称为套接字,它是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单的接口就是全部,让Socket去组织数据,以符合指定的协议。当我们使用不同的协议进行通信时就得使用不同的接口,还得处理不同协议的各种细节,这就增加了开发的难度,软件也不易于扩展(就像我们开发一套公司管理系统一样,报账、会议预定、请假等功能不需要单独写系统,而是一个系统上多个功能接口,不需要知道每个功能如何去实现的)。于是UNIX BSD就发明了socket这种东西,socket屏蔽了各个协议的通信细节,使得程序员无需关注协议本身,直接使用socket提供的接口来进行互联的不同主机间的进程的通信。这就好比操作系统给我们提供了使用底层硬件功能的系统调用,通过系统调用我们可以方便的使用磁盘(文件操作),使用内存,而无需自己去进行磁盘读写,内存管理。socket其实也是一样的东西,就是提供了tcp/ip协议的抽象,对外提供了一套接口,同过这个接口就可以统一、方便的使用tcp/ip协议的功能了。

  其实站在你的角度上看,socket就是一个模块。我们通过调用模块中已经实现的方法建立两个进程之间的连接和通信。也有人将socket说成ip+port,因为ip是用来标识互联网中的一台主机的位置,而port是用来标识这台机器上的一个应用程序。 所以我们只要确立了ip和port就能找到一个应用程序,并且使用socket模块来与之通信。

Socket又称“套接字”,应用程序通常通过“套接字”向网络发出请求或者应答网络请求,使主机间或者一台计算机的进程间可以通讯
类似于操作系统将复杂丑陋的控制计算机硬件的操作封装成统一简单的接口,只需要使用者学会如何操作系统就可以简单快速的操作计算机硬件

套接字发展历史及分类

套接字起源于 20 世纪 70 年代加利福尼亚大学伯克利分校版本的 Unix,即人们所说的 BSD Unix。 因此,有时人们也把套接字称为“伯克利套接字”或“BSD 套接字”。一开始,套接字被设计用在同 一台主机上多个应用程序之间的通讯。这也被称进程间通讯,或 IPC。套接字有两种(或者称为有两个种族),分别是基于文件型的和基于网络型的。

基于文件类型的套接字家族

套接字家族的名字:AF_UNIX

unix一切皆文件,基于文件的套接字调用的就是底层的文件系统来取数据,两个套接字进程运行在同一机器,可以通过访问同一个文件系统间接完成通信

基于网络类型的套接字家族

套接字家族的名字:AF_INET

(还有AF_INET6被用于ipv6,还有一些其他的地址家族,不过,他们要么是只用于某个平台,要么就是已经被废弃,或者是很少被使用,或者是根本没有实现,所有地址家族中,AF_INET是使用最广泛的一个,python支持很多种地址家族,但是由于我们只关心网络编程,所以大部分时候我么只使用AF_INET)

TCP和UDP对比

TCP(Transmission Control Protocol)可靠的、面向连接的协议(eg:打电话)、传输效率低全双工通信(发送缓存&接收缓存)、面向字节流。使用TCP的应用:Web浏览器;文件传输程序。

UDP(User Datagram Protocol)不可靠的、无连接的服务,传输效率高(发送前时延小),一对一、一对多、多对一、多对多、面向报文(数据包),尽最大努力服务,无拥塞控制。使用UDP的应用:域名系统 (DNS);视频流;IP语音(VoIP)。

TCP协议下的socket

个生活中的场景。你要打电话给一个朋友,先拨号,朋友听到电话铃声后提起电话,这时你和你的朋友就建立起了连接,就可以讲话了。等交流结束,挂断电话结束此次交谈。 生活中的场景就解释了这工作原理。

  先从服务器端说起。服务器端先初始化Socket,然后与端口绑定(bind),对端口进行监听(listen),调用accept阻塞,等待客户端连接。在这时如果有个客户端初始化一个Socket,然后连接服务器(connect),如果连接成功,这时客户端与服务器端的连接就建立了。客户端发送数据请求,服务器端接收请求并处理请求,然后把回应数据发送给客户端,客户端读取数据,最后关闭连接,一次交互结束

net包

net包提供了对socket编程的支持,socket编程分为服务端和客户端编程,针对服务端可使用函数Listen创建监听服务,对于客户端可使用函数Dial连接服务器

常用函数

// Listen: 用于创建监听服务器
// ListenPacket: 用于创建服务器端连接
// Dial: 用于创建与服务器连接
// JoinHostPort: 连接地址和端口
// SplitHostort: 分割地址和端口
// LookupAddr: 查找地址对应主机名
// ParseCIDR: 解析CIDR格式IP

常用结构体

// interfaces
// 常用属性
// index
// MTU
// Name
// HardwareAddr: mac地址
// Flags: 属性

// 常用函数
// interfaces: 获取所有网卡
// interfaceByName: 根据网卡获取网卡信息
// 常用方法
// Addrs: 获取网卡配置网络地址
// MulticastAddrs: 获取网卡广播地址

Dial函数及其使用

在 Go 语言中进行网络编程时,比传统的网络编程实现更加简洁

从服务端来看,代码编写分为以下几个步骤

// 1. 建立并绑定 Socket:首先服务端使用 socket() 函数建立网络套接字,然后使用 bind() 函数为套接字绑定指定的 IP 和端口;
// 2. 监听请求:接下来,服务端使用 listen() 函数监听客户端对绑定 IP 和端口的请求;
// 3. 接收连接:如果有请求过来,并通过三次握手成功建立连接,则使用 accept() 函数接收并处理该连接;
// 4. 处理请求与发送响应:服务端通过 read() 函数从上述已建立连接读取客户端发送的请求数据,经过处理后再通过 write() 函数将响应数据发送给客户端。

从客户端来看,代码编写分为以下几个步骤

// 1 . 建立 Socket:客户端同样使用 socket()函数建立网络套接字;
// 2 . 建立连接:然后调用 connect() 函数传入 IP 和端口号建立与指定服务端网络程序的连接;
// 3 . 发送请求与接收响应:连接建立成功后,客户端就可以通过 write() 函数向服务端发送数据,并使用 read() 函数从服务端接收响应。

// 基于 UDP 协议的网络服务大致流程也是一样的,只是服务端和客户端之间不需要建立连接

// Go 语言标准库对这个过程进行了抽象和封装,无论我们使用什么协议建立什么形式的连接,都只需要调用net.Dial() 函数就可以了,从而大大简化了代码的编写量
Dial()函数

Dial()函数的原型如下

func Dial(network, address string) (Conn, error) {
    var d Dialer
    return d.Dial(network, address)
}

其中 network 参数表示传入的网络协议(比如 tcpudp 等),address 参数表示传入的 IP 地址或域名,而端口号是可选的,如果需要指定的话,以「:」的形式跟在地址或域名的后面就好了。如果连接成功,该函数返回连接对象,否则返回 error

常见几种协议调用方式

1 . TCP连接

conn, err := net.Dial("tcp", "192.168.10.10:80")

2 . UDP连接

conn, err := net.Dial("udp", "192.168.10.10:8888")

3 . ICMP连接(使用协议名称)

conn, err := net.Dial("ip4:icmp", "www.xueyuanjun.com")

4 . ICMP连接(使用协议编号)

conn, err := net.Dial("ip4:1", "10.0.0.3")

目前,Dial() 函数支持如下几种网络协议:tcptcp4tcp6udpudp4udp6ipip4ip6unixunixgramunixpacket,这些协议解释如下:

tcp: // 代表 TCP 协议,其基于的 IP 协议的版本根据参数 address 的值自适应。
tcp4:// 代表基于 IP 协议第四版的 TCP 协议。
tcp6:// 代表基于 IP 协议第六版的 TCP 协议。
udp:// 代表 UDP 协议,其基于的 IP 协议的版本根据参数 address 的值自适应。
udp4:// 代表基于 IP 协议第四版的 UDP 协议。
udp6:// 代表基于 IP 协议第六版的 UDP 协议。
unix:// 代表 Unix 通信域下的一种内部 socket 协议,以 SOCK_STREAM 为 socket 类型。
unixgram:// 代表 Unix 通信域下的一种内部 socket 协议,以 SOCK_DGRAM 为 socket 类型。
unixpacket:// 代表 Unix 通信域下的一种内部 socket 协议,以 SOCK_SEQPACKET 为 socket 类型。/

在成功建立连接后,我们就可以进行数据的发送和接收,发送数据时,使用连接对象 connWrite() 方法,接收数据时使用 Read() 方法。

TCP服务端

package main

import (
	"fmt"
	"net"
)

func main()  {
	// 监听
	listener,err := net.Listen("tcp","127.0.0.1:8000")
	if err != nil{
		fmt.Println("err =",err)
		return
	}
	defer listener.Close()
	// 阻塞等待用户链接
	conn,err := listener.Accept()
	if err != nil {
		fmt.Println("err =",err)
		return
	}

	// 接受用户的请求
	buf := make([]byte,1024) // 缓冲区大小1024
	conn.Read(buf)
	n , err1 := conn.Read(buf)
	if err1 != nil {
		fmt.Println("err1=",err1)
		return
	}
	fmt.Println("buf=",string(buf[:n]))
	defer conn.Close()
}

// 可以使用nc代替客户端发信息

TCP客户端

package main

import (
	"fmt"
	"net"
)

func main()  {
	// 自动链接服务器
	conn,err := net.Dial("tcp","127.0.0.1:8000")
	if err != nil{
		fmt.Println("err:=",err)
		return
	}
	defer conn.Close()

	// 发送数据
	conn.Write([]byte("youmen"))
}
接受多个用户服务端

server.go

package main

import (
	"bufio"
	"fmt"
	"net"
	"os"
	"strings"
)

// tcp server端
func processConn(conn net.Conn) {
	defer conn.Close()
	// 3. 与客户端通信
	var tmp [128]byte
	reader := bufio.NewReader(os.Stdin)
	for {
		n, err := conn.Read(tmp[:])
		if err != nil {
			fmt.Println("read from conn failed,err:", err)
			return
		}
		fmt.Println(string(tmp[:n]))
		fmt.Print("请回复:")
		msg, _ := reader.ReadString('\n') // 读到换行
		msg = strings.TrimSpace(msg)
		if msg == "exit" {
			break
		}
		conn.Write([]byte(msg))
	}
}

func main() {
	// 1. 本地端口启动服务
	listener, err := net.Listen("tcp", "127.0.0.1:20000")
	if err != nil {
		fmt.Println("start tcp server on 127.0.0.1:20000 failed, err:", err)
		return
	}
	// 2. 等待别人来跟我建立连接
	for {
		conn, err := listener.Accept()
		if err != nil {
			fmt.Println("accept failed,err:", err)
			return
		}
		go processConn(conn)
	}
}

client.go

package main

import (
	"bufio"
	"fmt"
	"net"
	"os"
	"strings"
)

// tcp client

func main() {
	// 1. 与server端建立连接
	conn, err := net.Dial("tcp", "127.0.0.1:20000")
	if err != nil {
		fmt.Println("dial 127.0.0.1:20000 failed,err:", err)
		return
	}
	// 2. 发送数据
	reader := bufio.NewReader(os.Stdin)
	for {
		fmt.Print("请说话:")
		msg, _ := reader.ReadString('\n') // 读到换行
		msg = strings.TrimSpace(msg)
		if msg == "exit" {
			break
		}
		conn.Write([]byte(msg))
	}
	conn.Close()
}

HTTP Web服务

面向过程

http_server.go

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
	"time"
)

func main()  {
	// 1. 定义处理器/处理器函数
	// 2. 绑定URL,处理器/处理器函数关系
	// 3. 启动web服务

	/*
		1. 处理器函数
			参数: http.ResponseWriter,*http.Request
	 */
	timeFunc := func(response http.ResponseWriter,request *http.Request){
		fmt.Println(request)
		now := time.Now().Format("2030-05-20 15:20:20")
		// io.Write
		fmt.Fprint(response,now)
	}

	/*
		2. 绑定URL关系
		http.HandleFunc(path,处理器函数
	 */
	http.HandleFunc("/time/",timeFunc)
	http.HandleFunc("/",func(response http.ResponseWriter,request *http.Request){
		ctx,err := ioutil.ReadFile("/Users/youmen/Go_wunai/src/day04/index.html")
		if err == nil{
			response.Write(ctx)
		}else {
			fmt.Fprint(response,ctx)
		}
	})

	/*
		3. 启动web服务
		http.ListenAndServer(addr,nil
	 */
	http.ListenAndServe(":8888",nil)
}
面向对象

http_server.go

package main

import (
	"io"
	"net/http"
	"time"
)

// 处理器
// HandeFunc interface 自定义函数(结构体)
// ServerHTTP(http.ResponseWriter, *http.Request)

type TimeHandler struct {

}

func (h *TimeHandler) ServeHTTP(response http.ResponseWriter, request *http.Request){
	now := time.Now().Format("2030-05-20 15:20:21")
	io.WriteString(response,now)
}

func main()  {
	http.Handle("/time/",&TimeHandler{})
	http.ListenAndServe(":8888",nil)
}

请求方法

package main

import (
	"fmt"
	"net/http"
)

func main() {
	http.HandleFunc("/", func(resp http.ResponseWriter, req *http.Request){
		fmt.Println(req.Method, req.URL, req.Proto)
		fmt.Printf("%T,%#v\n", req.Header, req.Header)
		fmt.Println(req.Header.Get("User-Agent"))
	})

	http.ListenAndServe(":8888", nil)
}

获取请求参数GET

package main

import (
	"fmt"
	"net/http"
)

func main()  {
	// http.post
	// 提交数据-请求体
	// 有编码格式
	// application/x-www.form-urlencoded
	// ?k=v&k2=v2
	// 上传文件 => multipart / form-data
	// application/json {"a" : 1}
	http.HandleFunc("/", func(resp http.ResponseWriter, req *http.Request) {
		// 1. 解析参数
		req.ParseForm()

		// 2. 获取
		fmt.Println(req.Form)
		fmt.Println(req.Form.Get("b"))
		fmt.Println(req.Form["b"])
	})
	http.ListenAndServe(":8888",nil)
}

获取请求参数POST

package main

import (
	"fmt"
	"net/http"
)

func main()  {
	// http.post
	// 提交数据-请求体
	// 有编码格式
	// application/x-www.form-urlencoded
	// ?k=v&k2=v2
	// 上传文件 => multipart / form-data
	// application/json {"a" : 1}
	http.HandleFunc("/", func(resp http.ResponseWriter, req *http.Request) {
		// 1. 解析参数
		req.ParseForm()

		// 2. 获取
		fmt.Println(req.Form) // 包含请求体中和URL数据
		//fmt.Println(req.Form.Get("b"))
		//fmt.Println(req.Form["b"])
		fmt.Println(req.PostForm) // 只包含请求体数据
	})
	http.ListenAndServe(":8888",nil)
}

上传文件

package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
)

func main()  {
	http.HandleFunc("/", func(resp http.ResponseWriter, req *http.Request) {
		// 1. 解析提交内容
		// req.ParseMultipartForm(1024 * 1024)
		//fmt.Println(req.MultipartForm) // value,file
		//file,_ := req.MultipartForm.File["a"][0].Open()
		//io.Copy(os.Stdout,file)
		file,header,_:=req.FormFile("a")
		io.Copy(os.Stdout,file)
		fmt.Println(header.Filename)
		fmt.Println(header.Size)
		fmt.Println(header.Header)
	})

	http.ListenAndServe(":8888",nil)
}

curl -XPOST "http://127.0.0.1:8888" -F "a=test.txt" 

json解析

package main

import (
	"encoding/json"
	"fmt"
	"net/http"
)

func main()  {
	http.HandleFunc("/", func(resp http.ResponseWriter, req *http.Request) {
		// 需要读取请求体中数据
		//io.Copy(os.Stdout,req.Body)
		decode := json.NewDecoder(req.Body)
		var info map[string]interface{}
		decode.Decode(&info)
		fmt.Println(info)
	})

	http.ListenAndServe(":8888",nil)
}

curl -XPOST "http://127.0.0.1:8888?b=1" -H "application/json"  -d "{\"a\":1}" 

cookie


posted @ 2020-07-25 14:55  常见-youmen  阅读(843)  评论(0编辑  收藏  举报