小米范工具系列之十四:小米范网站批量爬虫工具
小米范网站批量爬虫工具,是一款针对大量网站进行快速爬取的工具,爬取的URL可进一步调用wvs、sqlmap、brutexss等工具进行检测。
工具使用方法:
1、点击新建任务,输入要检测的URL。
2、设置子域名白名单,属于白名单域名的URL则自动保留并进行抓取。
2、设置并发站点、并发线程等参数,点击开始即可。
工具的工作流程:
假设我们新建任务,放入100个URL作为爬虫的起始URL,那么具体的爬取过程如下:
1、 针对这100个URL,按照是否同源进行合并,同源的URL则放入一个目标,并将这些URL作为这个源的起始URL。
2、 针对每个目标进行爬取(默认并发5个目标),针对每个目标的起始URL采用浏览器点击抓包(默认每个目标最多开5个浏览器)+HTML解析的方式获取URL,浏览器点击在后台运行,没有界面,这里的浏览器点只是在点击后将发出去的请求URL记录,但并不真正发出去请求。
3、 将前两步收集到的URL作为种子,进行传统的爬取,这里的爬取主要采用了webmagic框架,并对框架本身做了一点修改。另外每一个页面下载之前会进行爬取URL黑名单匹配,匹配到黑名单则跳过,下载到的每个页面提取出来的URL会进行子域名白名单匹配,匹配到白名单则会放入爬取队列。
针对爬到的URL可直接右键使用sqlmap、brutexss、panoptic、wvs进行安全检测,目前还在考虑再加入一些其他的检测工具。
此外也提供了目录扫描功能,在左侧树形结构的任意节点右键目录扫描会对当前选中节点所在的路径进行目录扫描。
下载地址:http://pan.baidu.com/s/1pLjaQKF 文件名 XmfSpider
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战