UDP打洞、P2P组网方式研究

catalogue

1. NAT概念
2. P2P概念
3. UDP打洞
4. P2P DEMO
5. ZeroNet P2P

 

1. NAT概念

在STUN协议中，根据内部终端的地址(LocalIP:LocalPort)到NAT出口的公网地址(PublicIP:PublicPort)的影射方式，把NAT分为四种类型(rfc3489: http://www.ietf.org/rfc/rfc3489.txt)

1. Full Cone: 这种NAT内部的机器A连接过外网机器C后，NAT会打开一个端口，然后外网的任何发到这个打开的端口的UDP数据报都可以到达A。不管是不是C发过来的(NAT源端口映射)
2. Restricted Cone: 这种NAT内部的机器A连接过外网的机器C后，NAT打开一个端口，然后C可以用任何端口和A通信，其他的外网机器不行(目的IP映射) 
3. Port Restricted Cone: 这种NAT内部的机器A连接过外网的机器C后，NAT打开一个端口，然后C可以用原来的端口和A通信，其他的外网机器不行(NAT目的端口映射)
4. Symmetic: 对于这种NAT.连接不同的外部目标。原来NAT打开的端口会变化，而Cone NAT不会，虽然可以用端口猜测，但是成功的概率很小 

或者分为2类

1. 基本的NAT: 一个私有网络(域)中的节点中只有很少的节点需要与外网连接。那么这个子网中其实只有少数的节点需要全球唯一的IP地址，其他的节点的IP地址应该是可以重用的。因此，基本的NAT实现的功能很简单，在子网内使用一个保留的IP子网段，这些IP对外是不可见的。子网内只有少数一些IP地址可以对应到真正全球唯一的IP地址。如果这些节点需要访问外部网络，那么基本NAT就负责将这个节点的子网内IP转化为一个全球唯一的IP然后发送出去(基本的NAT会改变IP包中的原IP地址，但是不会改变IP包中的端口)

2. NAPT(Network Address/Port Translator): NAPT不但会改变经过这个NAT设备的IP数据报的IP地址，还会改变IP数据报的TCP/UDP端口
    1) 如果Client A想向Client B发送信息，那么Client A发送命令给Server S，请求Server S命令Client B向Client A方向打洞
    2) 如果Client B想向Client A发送信息，那么Client B发送命令给Server S，请求Server S命令Client A向Client B方向打洞
总体来说，P2P(NAT环境下)的通信都是被动反向的，即谁想向谁发送数据，需要通知对方向自己"打洞"

 

2.  P2P概念

P2P是peer-to-peer的缩写，peer在英语里有"(地位、能力等)同等者"、"同事"和"伙伴"等意义。这样一来，P2P也就可以理解为"伙伴对伙伴"的意思，或称为对等联网，简单的说，P2P直接将人们联系起来，让人们通过互联网直接交互。P2P使得网络上的沟通变得容易、更直接共享和交互，真正地消除中间商。P2P就是人可以直接连接到其他用户的计算机、交换文件，而不是像过去那样连接到服务器去浏览与下载。P2P另一个重要特点是改变互联网现在的以大网站为中心的状态、重返“非中心化”，并把权力交还给用户
事实上，网络上现有的许多服务可以归入P2P的行列。即时讯息系统譬如ICQ、AOL Instant Messenger、Yahoo Pager、微软的MSN Messenger以及国内的OICQ是最流行的P2P应用

0x1: 普通的直连式P2P实现

0x2: STUN方式的P2P实现

STUN是RFC3489规定的一种NAT穿透方式，STUN的探测过程需要有一个公网IP的STUN server，在NAT后面的UAC必须和此server配合，互相之间发送若干个UDP数据包。UDP包中包含有UAC需要了解的信息，比如NAT外网IP，PORT等等。UAC通过是否得到这个UDP包和包中的数据判断自己的NAT类型，假设如下场景

1. UAC(B): UAC的IP为IPB
2. NAT(A): NAT的IP为IPA
3. SERVER(C): SERVER的IP为IPC1 、IPC2
//服务器C有两个IP 

NAT的探测过程

0x3: P2P文件传输协议之BitTorrent协议

Bittorrent与其他传统P2P软件如Gnutella,Fasttrack不同,Bittorrent只是一个纯粹的文件下载协议,并提供搜索功能,所以往往资源的获取要跟其他一些应用结合起来,比如说发布Bittorrent种子信息的网站

1. Bittorrent工作原理

Bittorrent的工作原理其实很简单,他就是将一份数据分隔成256K大小的数据分组,并在Bittorrent 网络中一群用户相互协作完成这些数据的分发,用户参与数据分发的信息已文件的形式存储,一般可以通过web网站获取这些信息但是实际数据传输依靠的不是Http协议,而是由专门的P2P协议来完成,这些对于用户都是透明的
普通的HTTP/FTP下载使用TCP/IP协议,BitTorrent协议是架构于TCP/IP协议之上的一个P2P文件传输协议,处于TCP/IP结构的应用层｡ BitTorrent协议本身也包含了很多具体的内容协议和扩展协议,并在不断扩充中
根据BitTorrent协议,文件发布者会根据要发布的文件生成提供一个.torrent文件,即种子文件,也简称为“种子"｡ .torrent文件本质上是文本文件,包含Tracker信息和文件信息两部分

1. Tracker信息主要是BT下载中需要用到的Tracker服务器(中间人服务器)的地址，以及针对Tracker服务器的设置
2. 文件信息是根据对目标文件的计算生成的计算结果根据BitTorrent协议内的B编码规则进行编码，它的主要原理是需要把提供下载的文件虚拟分成大小相等的块，块大小必须为2k的整数次方(由于是虚拟分块,硬盘上并不产生各个块文件)，并把每个块的索引信息和Hash验证码写入.torrent文件中
3. 所以,.torrent文件就是被下载文件的"索引"

2. 种子文件结构

一个种子文件，通常是以.torrent后缀结尾。BitTorrent协议规定，torrent文件本身，内容必须是utf8编码格式，并且其中的字段结构采用bencoding编码格式
Torrent种子文件由两部分组成：announce(tracker url)和文件信息，该种子文件的一部分如下，根据bencoding编码格式，把这段字符解码还原后

announce:http://www.chinahdtv.org/announce.php?passkey=6e7a1c7ca4164d87e9b0e00ec63aa749
created by:uTorrent/2040
creation date:1369699038
encoding:UTF-8
info:
{files:[
{length:158784,path:[Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.chn.srt]}, {length:107117,path:[Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.chn1.srt]}, {length:93644,path:[Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.chn2.srt]},
{length:4272200020,path:[Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.mkv]}],
name:钢铁侠3.Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264,
piece length:4194304,
pieces:P1,P2,P3...P1019
private:1
source:[hd.gg] CNHD ChinaHDTV
}

一个torrent种子文件有点类似于XML格式的文件，包含如下组成部分

1. tracker地址，这里就是announce后面的url
2. 种子创建软件及其版本号，这里是uTorrent软件创建的，版本号为2040
3. 创建日期，这里是1369699038，这个数字显示的是从UTC 1970-1-1 00:00:00到到现在所经历的秒数 
4. 编码格式，这里是UTF-8(codepage=936)
5. info区，这里指定的是该种子有几个文件，文件有多长，目录结构，以及目录和文件的名字 
6. Name字段，指定顶层目录名字
7. 每个段的大小，Bittorrent协议是把一个文件分成很多个小段，然后分段下载的，这个地方就是指定每个段的大小，单位是字节，这里每个段的大小大约为4MB(4194304)
8. 段哈希值，就是整个种子中，每个段的SHA1哈希值拼在一起，每个段的哈希长度是固定的，20个字符，所以pieces后面跟的那个数字20380其实是段数量*20，如果你用20380除以20，就会发现这个种子段数量为1019，乘上前面的段大小，这个种子大概有4GB大小，也就是说你把这个种子下载完后，占硬盘4GB空间
9. private值，这个属性主要显示这个种子是私有的，还是公有的。一般那些各大PT站就是私有的。私有的种子会禁掉DHT(distributed hash table)，因为如果你的client开这个功能，那就会跳过tracker来和其他peer进行数据交换，在很多PT内站(CHDbits,CMCT,CNHD)把这种行为称为作弊，会直接ban掉你在PT站上的帐号 
10. 源，显示该种子的来源，这里是CNHD

以上的每个属性并不是必须的，有的属性属于BitTorrent Enhancement Proposals (BEPs)，就是BitTorrent协议的扩展，虽然不属于正式标准的一部分，但是很多客户端都支持这种格式

3. BitTorrent通信流程与网络包结构

http://www.cnblogs.com/LittleHann/p/3837839.html

4. BitTorrent下载

下载者要下载文件内容,需要先得到相应的.torrent文件,然后使用BT客户端软件进行下载(读取.torrent文件中的索引)

1. 下载时,BT客户端首先解析.torrent文件得到Tracker地址,然后连接Tracker服务器
2. Tracker服务器回应下载者的请求,提供下载者其他下载者(包括发布者)的IP(相当于打洞过程)
3. 下载者再连接其他下载者
4. 根据.torrent文件,两者分别对方告知自己已经有的块,然后交换对方没有的数据
5. 此时不需要其他服务器参与,分散了单个线路上的数据流量,因此减轻了服务器负担(打洞完成后，不再需要中间人服务器的参与，通信双方直接进行点对点通信)
6. 下载者每得到一个块,需要算出下载块的Hash验证码与.torrent文件中的对比,如果一样则说明块正确,不一样则需要重新下载这个块，这种规定是为了解决下载内容准确性的问题 

一般的HTTP/FTP下载,发布文件仅在某个或某几个服务器,下载的人太多,服务器的带宽很易不胜负荷,变得很慢，而BitTorrent协议下载的特点是,下载的人越多,提供的带宽也越多,种子也会越来越多,下载速度就越快

Relevant Link:

http://www.2cto.com/net/200506/5494.html
http://www.cppblog.com/peakflys/archive/2013/01/25/197562.html
http://blog.chinaunix.net/uid-11572501-id-2868679.html
https://github.com/Martiusweb/p2p
http://network.51cto.com/art/201006/207932.htm
http://blog.csdn.net/wengpingbo/article/details/9174363
https://github.com/axeliux/P2P

 

3. UDP打洞

UDP打洞用于在两个NAT内网之间进行网络连接

0x1:  打洞基本概念

我们来看看一个P2P软件的流程

1. 首先，Client A登录服务器，NAT A为这次的Session分配了一个端口60000，那么Server S收到的Client A的地址是202.187.45.3:60000，这就是Client A的外网地址了
2. 同样，Client B登录Server S，NAT B给此次Session分配的端口是40000，那么Server S收到的B的地址是187.34.1.56:40000 
3. 此时，Client A与Client B都可以与Server S通信了。如果Client A此时想直接发送信息给Client B，那么他可以从Server S那儿获得B的公网地址187.34.1.56:40000，但是Client A不能直接向这个地址发送信息，因为如果这样发送信息，NAT B会将这个信息丢弃(因为这样的信息是不请自来的，为了安全，大多数NAT都会执行丢弃动作)。现在我们需要的是在NAT B上打一个方向为202.187.45.3(即Client A的外网地址)的洞，那么Client A发送到187.34.1.56:40000的信息,Client B就能收到了。这个打洞命令由谁Server S来发出(Server S只是作为一个中转代理)
4. 总结一下这个过程：如果Client A想向Client B发送信息，那么Client A发送命令给Server S，请求Server S命令Client B向Client A方向打洞。然后Client A就可以通过Client B的外网地址与Client B通信了

理解UDP NAT打洞，需要明白的是

1. 在NAT模式下，内网的IP是不能被外网直接正向访问到的，只能又内网IP向外网IP主动发起连接，一旦连接成功建立起来，后续的交互通信是完全正常的
2. 而P2P要面对的问题就是两个IP都在NAT内网中，谁也无法率先发起连接(NAT会拒绝"不请自来"的外网连接)，所以需要事先在"中间人(Server S)"上进行登记，登记的内容为对应的NAT公网IP:PORT
3. 如果某个NAT内网IP需要向另一个NAT内网IP进行通信，需要"通知"中间人Server S，由它转发来告知目标NAT IP主动向自己主动发起连接，这谓之"打洞"，"打洞"完成后，当前NAT就记录了当前NAT IP和目标NAT外网IP的的会话记录了，而此时对于对方的NAT来说，同样也记录一个会话，解决了"鸡生蛋，蛋生鸡"的问题后，此后，两个NAT内网IP就可以互相开始正常通信了

0x2: Server端

#!/usr/bin/python
#coding:utf-8
import socket, sys, SocketServer, threading, thread, time 

SERVER_PORT = 1234
sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) 
sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 
sock.bind(('', SERVER_PORT)) 
user_list = [] 

def server_handle(): 
    while True: 
        cli_date, cli_pub_add = sock.recvfrom(8192) 
        now_user = [] 
        headder = [] 
        cli_str = {} 
        headder = cli_date.split('\t') 
    for one_line in headder: 
        str = {} 
        str = one_line 
        args = str.split(':') 
        cli_str[args[0]] = args[1] 
    if cli_str['type'] == 'login' : 
        del cli_str['type'] 
        now_user = cli_str 
        now_user['cli_pub_ip'] = cli_pub_add[0] 
        now_user['cli_pub_port'] = cli_pub_add[1] 
        user_list.append(now_user) 
        toclient = 'info#%s login in successful , the info from server'%now_user['user_name'] 
        sock.sendto(toclient,cli_pub_add) 
        print'-'*100
        print"%s 已经登录,公网IP:%s 端口:%d\n"%(now_user['user_name'],now_user['cli_pub_ip'],now_user['cli_pub_port']) 
        print"以下是已经登录的用户列表"
        for one_user in user_list: 
            print'用户名:%s 公网ip:%s 公网端口:%s 私网ip:%s 私网端口:%s'%(one_user['user_name'],one_user['cli_pub_ip'],one_user['cli_pub_port'],one_user['private_ip'],one_user['private_port']) 
    elif cli_str['type'] == 'alive': 
        pass
    elif cli_str['type'] == 'logout' : 
        pass
    elif cli_str['type'] == 'getalluser' : 
        print'-'*100
        for one_user in user_list : 
            toclient = 'getalluser#username:%s pub_ip:%s pub_port:%s pri_ip:%s pri_port:%s'%(one_user['user_name'],one_user['cli_pub_ip'],one_user['cli_pub_port'],one_user['private_ip'],one_user['private_port']) 
            sock.sendto(toclient,cli_pub_add) 

if __name__ == '__main__': 
    thread.start_new_thread(server_handle, ()) 
    
print'服务器进程已启动，等待客户连接'
while True: 
    for one_user in user_list: 
        toclient = 'keepconnect#111'
        sock.sendto(toclient,(one_user['cli_pub_ip'],one_user['cli_pub_port']))  
        time.sleep(1) 

0x3: Client

#!/usr/bin/python
#coding:utf-8
import socket, SocketServer, threading, thread, time 
CLIENT_PORT = 4321
SERVER_IP = "114.55.36.222"
SERVER_PORT = 1234
user_list = {} 
local_ip = socket.gethostbyname(socket.gethostname()) 
sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) 

def server_handle(): 
    print'客户端线程已经启动 , 等待其它客户端连接'
    while True: 
        data, addr = sock.recvfrom(8192) 
        data_str = data.split('#') 
        data_type = data_str[0] 
        data_info = data_str[1] 
        if data_type == 'info' : 
            del data_str[0] 
            print data_info      
        if data_type == 'getalluser' : 
            data_sp = data_info.split(' ') 
            user_name = data_sp[0].split(':')[1] 
            del data_sp[0] 
            user_list[user_name] = {} 
            for one_line in data_sp: 
                arg = one_line.split(':') 
                user_list[user_name][arg[0]] = arg[1] 
        if data_type == 'echo' : 
            print data_info 
        if data_type == 'keepconnect': 
            messeg = 'type:alive'
            sock.sendto(messeg, addr) 

if __name__ == '__main__': 
    thread.start_new_thread(server_handle, ()) 
    time.sleep(0.1) 
    cmd = raw_input('输入指令>>') 
    while True: 
        args = cmd.split(' ') 
        if args[0] == 'login': 
            user_name = args[1] 
            local_uname = args[1] 
            address = "private_ip:%s private_port:%d" % (local_ip, CLIENT_PORT) 
            headder = "type:login\tuser_name:%s\tprivate_ip:%s\tprivate_port:%d" % (user_name,local_ip,CLIENT_PORT) 
            sock.sendto(headder, (SERVER_IP, SERVER_PORT)) 
        elif args[0] == 'getalluser': 
            headder = "type:getalluser\tuser_name:al"
            sock.sendto(headder,(SERVER_IP,SERVER_PORT)) 
            print '获取用户列表中...'
            time.sleep(1) 
            for one_user in user_list: 
                print'username:%s pub_ip:%s pub_port:%s pri_ip:%s pri_port:%s'%(one_user,user_list[one_user]['pub_ip'],user_list[one_user]['pub_port'],user_list[one_user]['pri_ip'],user_list[one_user]['pri_port']) 
        elif args[0] == 'connect': 
            user_name = args[1] 
            to_user_ip = user_list[user_name]['pub_ip'] 
            to_user_port = int(user_list[user_name]['pub_port']) 
        elif args[0] =='echo': 
            m = ' '.join(args[1:]) 
            messeg = 'echo#from %s:%s'%(local_uname,m) 
            sock.sendto(messeg, (to_user_ip, to_user_port)) 
        time.sleep(0.1)  
        cmd = raw_input('输入指令>>') 

0x4: 测试过程

1. 登录(NAT内网机器向Server S注册)

2. NAT内网IP获取Server S中注册用户，准备开始打洞

3. 用户A(51_10)需要向用户B(190_203)建立连接

完成打洞的建立和正常通信

Relevant Link:

http://www.cnblogs.com/yrh2847189/archive/2007/06/20/790013.html
http://lustlost.blog.51cto.com/2600869/1177494

 

4. P2P DEMO

A peer-to-peer file sharing server written in C, and client written in Java. Developed in collaboration with Justin Hill (https://github.com/justindhill).
p2p utilizes TCP server (https://github.com/mdlayher/tcpd) as well as the Apache Commons Codec (http://commons.apache.org/codec/) in order to facilitate the C server component
p2p uses a centralized directory server approach. Clients connect to the central server in order to retrieve a list of files which exist among peers in the network. Once a client requests to download a file, the connection is negotiated between peers, and the client can begin to download the file.

Relevant Link:

https://github.com/huangyingcai/p2p

 

5. ZeroNet P2P

ZeroNet是一个利用比特币加密和BT技术提供不受审查的网络与通信的BT平台，ZeroNet网络功能已经得到完整的种子的支持和加密连接，保证用户通信和文件共享的安全。使用ZeroNet，可以实现匿名上网，可以在任意一台机器上搭建网站，但即机器关闭，网站依然在全球存在，别人无法关闭这个网站
ZeroNet是一个去中心化的类似于Internet的网络，由Python制作，完全开源。网站由特殊的"ZeroNet URL"可以被使用一般的浏览器通过ZeroNet程序浏览，就像访问本地主机一样。ZeroNet默认并"不"匿名，但是用户可以通过内置的Tor功能进行匿名化。ZeroNet使用Bitcoin加密算法及BitTorrent网络

0x1: 优势

1. 防DMCA Take down
2. 基于p2p原理，只要建好并有人浏览过，即使服务器，网站依然在全球存在
3. 基于p2p原理，支付内网穿透
4. 基于比特币原理，账号很安全
5. 不需要域名，任何人访问都使用http://127.0.0.1:43110/字符串

Relevant Link:

http://www.williamlong.info/archives/4574.html
https://github.com/HelloZeroNet/ZeroNet

 

Copyright (c) 2016 LittleHann All rights reserved