2013年9月12日
[搜片神器]迅雷云播视频地址获取代码分享[自己动手丰衣足食]
摘要： 在目前云播放网站很多的情况下,他们是如何来进行视频播放的呢,这次主要介绍如何从迅雷服务器上获取相关的视频地址的抓取问题, 当然我们自己在本地播放器上也可以直接在线播放了,不用到外找网站进行播放时又不能拖动的问题, 阅读全文
posted @ 2013-09-12 17:52 Miao31 阅读(13118) 评论(24) 推荐(19) 编辑
2013年9月6日
[搜片神器]BT管理程序数据库速度调试优化问题
摘要： 当数据库数据增加到8G大小的时候,如何对程序和数据库进行优化分析调试,最后优化速度提升的问题进行分析记录一下. 数据库优化目标1.避免磁盘I/O瓶颈、2.减少CPU利用率3.减少资源竞争。 1.初期数据库设计上比较充分的考虑到数据库每张表的大小问题,所以表切分的问题目前不存在,需要考虑其它因素. 2.网上大部分介绍需要建立索引,如何建立对的索引很重要,以查询的字段最好设置为主键值,因为涉汲到大量的查询; 3.有时候问题并不是都是程序的问题,需要考虑的问题很多,比如数据库,服务器内存,CPU等都需要考虑. 4.如果对很多字段进行比对的字段进行优化呢?比如需要比较时间和其它字段信息? 希望大家指导下此表是否有优化的余地,在此表示感谢 阅读全文
posted @ 2013-09-06 15:17 Miao31 阅读(3102) 评论(24) 推荐(6) 编辑
2013年9月2日
[搜片神器]DHT后台管理程序数据库流程设计优化学习交流
摘要： 服务器在抓取和处理同时进行，所以访问速度慢是有些的，特别是搜索速度通过SQL的like来查询慢，正在通过分词改进中。。 DHT抓取程序开源地址：https://github.com/h31h31/H31DHTDEMO 数据处理程序开源地址:https://github.com/h31h31/H31DHTMgr 目前在数据库数量从量的增加到100多万条数据时，数据库的查询插入就会面临着比较慢的问题，下面就个人在整个设计过程中的方法与大家交流学习下。 个人目前采用的方法有： 阅读全文
posted @ 2013-09-02 11:41 Miao31 阅读(2950) 评论(9) 推荐(9) 编辑
2013年8月30日
[搜片神器]之DHT网络爬虫的C++程序初步开源
摘要： 回应大家的要求，特地整理了一开始自己整合的代码，这样最简单，最直接的可以分析DHT网络的操作流程，对于抓取程序有更多的了解。 希望大家更多的加入进来, DHT抓取程序开源地址：https://github.com/h31h31/H31DHTDEMO 阅读全文
posted @ 2013-08-30 12:49 Miao31 阅读(6959) 评论(10) 推荐(7) 编辑
2013年7月30日
[搜片神器]BT种子下载超时很多的问题分析
摘要： 之前分享过DHT磁链接种子文件的下载方法,但下载种子文件的时候失败很多,比如返回:Timeouts are not supported on this stream. The remote server returned an error: (404) Not Found. The operation has timed out.这篇文章就此分析如何解决这些BUG访问..... 阅读全文
posted @ 2013-07-30 12:44 Miao31 阅读(5722) 评论(10) 推荐(7) 编辑
2013年7月26日
[搜片神器]之DHT网络爬虫的代码实现方法
摘要： 本文主要介绍DHT的实现方法和步骤,园子里的朋友希望授大家以渔,希望大家更多的加入进来. 昨天通过向大家介绍DHT的工作原理,相信大家大概明白怎么回事,不明白的朋友可以继续分享接下来的文章. 本文章借鉴的代码是C++版本的:transmission里面的DHT代码. 阅读全文
posted @ 2013-07-26 10:38 Miao31 阅读(14992) 评论(31) 推荐(20) 编辑
2013年7月25日
[C#搜片神器] 之P2P中DHT网络爬虫原理
摘要： 先说下运行方法: 1)有固定IP的朋友可以试试H31DHT.exe数据抓取程序,会获取一些数据,如果>2小时还没有数据返回,直接说明不是固定IP的返回数据很少; 2)直接从http://torrage.com/sync下载几个文本文件回来,放到程序目录下,H31DHTMgr程序会自动遍历这个文件夹取HASH文件, 存储到数据库中,如果将此网站的200多万数据(个人估计的)全部下载成功,那也可以搜索很多内容了. 大家可能问目前的程序采用什么方法下载BT种子的比较关心,下面就自己的体会给大家说说: DHT磁力种子其实就是20字节的HASH值,这个值可以直接从很多网站下载种子,举例子说明: 比如说上一篇文件中有那么多HASH值的字符串 阅读全文
posted @ 2013-07-25 13:20 Miao31 阅读(27110) 评论(30) 推荐(16) 编辑
点击右上角即可分享
微信分享提示