随笔分类 -  DHT

摘要:在介绍了这么多期文章后,最后介绍BT网络里面一个比较重要种子下载协议,方便大家知道如何从DHT网络直接下载种子的问题. 先说下我们目前下载电影等文件是如何下载的,比如我们有个BT种子,就可以去下载对应的文件,但如果我们只有个文件名字,如何去找BT种子呢? 搜索得到磁连接,然后就由此字符串去下载对应的种子文件和电影等信息,但如果没有网站让你下载种子,我们又当如何去搜索这个种子呢? 阅读全文
posted @ 2013-09-22 13:14 Miao31 阅读(59473) 评论(29) 推荐(13) 编辑
摘要:服务器在抓取和处理同时进行,所以访问速度慢是有些的,特别是搜索速度通过SQL的like来查询慢,正在通过分词改进中。。 DHT抓取程序开源地址:https://github.com/h31h31/H31DHTDEMO 数据处理程序开源地址:https://github.com/h31h31/H31DHTMgr 目前在数据库数量从量的增加到100多万条数据时,数据库的查询插入就会面临着比较慢的问题,下面就个人在整个设计过程中的方法与大家交流学习下。 个人目前采用的方法有: 阅读全文
posted @ 2013-09-02 11:41 Miao31 阅读(2945) 评论(9) 推荐(9) 编辑
摘要:回应大家的要求,特地整理了一开始自己整合的代码,这样最简单,最直接的可以分析DHT网络的操作流程,对于抓取程序有更多的了解。 希望大家更多的加入进来, DHT抓取程序开源地址:https://github.com/h31h31/H31DHTDEMO 阅读全文
posted @ 2013-08-30 12:49 Miao31 阅读(6903) 评论(10) 推荐(7) 编辑
摘要:之前分享过DHT磁链接种子文件的下载方法,但下载种子文件的时候失败很多,比如返回:Timeouts are not supported on this stream. The remote server returned an error: (404) Not Found. The operation has timed out.这篇文章就此分析如何解决这些BUG访问..... 阅读全文
posted @ 2013-07-30 12:44 Miao31 阅读(5620) 评论(10) 推荐(7) 编辑
摘要:本文主要介绍DHT的实现方法和步骤,园子里的朋友希望授大家以渔,希望大家更多的加入进来. 昨天通过向大家介绍DHT的工作原理,相信大家大概明白怎么回事,不明白的朋友可以继续分享接下来的文章. 本文章借鉴的代码是C++版本的:transmission里面的DHT代码. 阅读全文
posted @ 2013-07-26 10:38 Miao31 阅读(14806) 评论(31) 推荐(20) 编辑
摘要: 先说下运行方法: 1)有固定IP的朋友可以试试H31DHT.exe数据抓取程序,会获取一些数据,如果>2小时还没有数据返回,直接说明不是固定IP的返回数据很少; 2)直接从http://torrage.com/sync下载几个文本文件回来,放到程序目录下,H31DHTMgr程序会自动遍历这个文件夹取HASH文件, 存储到数据库中,如果将此网站的200多万数据(个人估计的)全部下载成功,那也可以搜索很多内容了. 大家可能问目前的程序采用什么方法下载BT种子的比较关心,下面就自己的体会给大家说说: DHT磁力种子其实就是20字节的HASH值,这个值可以直接从很多网站下载种子,举例子说明: 比如说上一篇文件中有那么多HASH值的字符串 阅读全文
posted @ 2013-07-25 13:20 Miao31 阅读(26867) 评论(30) 推荐(16) 编辑