bt 介绍以及 bt 种子的hash值(特征值)计算
bt种子的hansh值计算,近期忽然对bt种子感兴趣了(原因勿问)
1. bt种子(概念)
bt 是一个分布式文件分发协议,每一个文件下载者在下载的同一时候向其他下载者不断的上传已经下载的数据,这样保证下载越快,上传越快,从而实现告诉下载
2. bt 怎样实现下载同一时候上传文件
这个须要从文件本身说起,bt文件包括了两部分信息,一部分是Tracker信息,一部分是文件信息,tracker信息主要是记录下载过程中须要的trackerserver地址和针对trackerserver的设置,文件信息是依据对目标文件的计算生成的,计算结果会以B编码规则进行编码(英文不太好,这部分信息来自百度百科)。 文件信息里,会把须要下载的文件进行分块,每一个块的索引信息会写到torrent文件里,在这里上传一个迅雷的任务具体页面
能够看到详细的任务分块信息,每一个下载者都能够上传自己已经下载的分块数据,怎样获取其他下载者已经下载的分块信息数据呢,一种方式是通过trackerserver来实现的,能够记录每一个下载者,这也就是我们常常看见局域网的bt分享站点会有对上传下载的流量统计功能,每一个人下载多少,上传多少,从而确定每一个人的贡献值。
这也就是海盗湾之前被瑞典起诉的原因,trackerserver提供了给每一个下载者下载盗版的可能性和机会,当然如今对于众多的magnet协议,採用了dht技术,这样对于trackerserver的存在就显得没有必要了,这是后话,慢慢在描写叙述!
3. bt的hash值计算(特征值计算)
由上可知,对于每个bt种子,都有包括每个分块的文件信息,这样能够保证即使在trackerserver有变化的情况下,bt种子的唯一性(这里,插一句,我以前simple的以为,能够对bt种子取md5值就能够确定其唯一性,too naive啊),那怎样计算这个hash值呢,这须要对bt文件组成的一个深入了解,这方面以后相当多的文章,附上一篇:
http://www.cnblogs.com/DxSoft/archive/2012/02/11/2346314.html
依据这篇文章的描写叙述,谢了两段測试程序:
方法1:直接依据info后的字段信息即4:info后的字段,我们能够截取bt种子中的一段
比如:
d8:announce27:http://tk3.5qzone.net:8080/13:announce-listll27:http://tk3.5qzone.net:8080/el36:http://btfans.3322.org:8000/announceel36:http://btfans.3322.org:8080/announceel36:http://btfans.3322.org:6969/announceel42:http://denis.stalker.h3q.com:6969/announceel40:http://torrent-download.to:5869/announceel45:http://tracker.openbittorrent.com:80/announceel39:http://tracker.publicbt.com:80/announceel40:http://tracker.bittorrent.am:80/announceel30:http://tracker.prq.to/announceel34:http://tracker.prq.to/announce.phpel43:http://tracker.torrentbox.com:2710/announceel34:http://tpb.tracker.prq.to/announceel30:http://tr.wjl.cn:8080/announceel37:http://219.152.120.234:6969/announce el34:http://mdbt.3322.org:6969/announceee7:comment19:YYeTs人人影视资源站13:comment.utf-826:YYeTs浜轰汉褰辫璧勬簮绔?0:created by13:BitComet/0.7013:creation datei1261532244e8:encoding3:GBK4:infod5:filesld6:lengthi943e4:path
第一个字节d代表dict意思,字典组成,4:info 代表着info字段长度为4意思,这样我们能够写下解析hash的代码值:
#!python import hashlib def sha1sum(src): if not len(src): return "" m = hashlib.sha1(src) return m.hexdigest() #filename is the torrent file name with open(filename) as f: torrent_data = f.read() if -1 != torrent_data.find("nodes"): info_data = torrent_data[torrent_data.find("info")+4:torrent_data.find("nodes")-2] else: info_data = torrent_data[torrent_data.find("info")+4:len(torrent_data) - 1] sha1_data = sha1sum(info_data) print "the hash data of torrent is: ", sha1_data.upper()
在实际測试时,发现,在torrent中,有两种情况,一种是包括nodes字段信息的;一种是不包括nodes信息的torrent种子,须要分别处理,可是这样的处理的方式较为繁琐,也不清楚兴许究竟有多少的坑在里面,须要应对不同情况,于是去google了一下,在stackoverflow里面,提到一个库,即bencode库,这就是我们的另外一种方案
方案2:
通过bencode库实现对hash值得计算(bencode库兴许具体介绍和解读),代码例如以下(须要安装bencode库),地址:
https://pypi.python.org/pypi/BitTorrent-bencode/5.0.8.1
#!/usr/bin/python import sys, os, hashlib, StringIO import bencode def main(): # Open torrent file torrent_file = open(sys.argv[1], "rb") metainfo = bencode.bdecode(torrent_file.read()) info = metainfo['info'] print hashlib.sha1(bencode.bencode(info)).hexdigest() if __name__ == "__main__": main()