360crawlergo动态爬虫+xray被动扫描

crawlergo动态爬虫+xray被动扫描

https://github.com/timwhitez/crawlergo_x_XRAY
360 0Kee-Team 的 crawlergo动态爬虫 结合 长亭XRAY扫描器的被动扫描功能 (其它被动扫描器同理)

手工挖了一天,担心漏挖?双手离开键盘前来一遍360爬虫+Xray被动扫描,没有那就真没有了,有你也挖不到[摊手]
缺点:虽然可以给Xray设置出口代理,但无法给crawlergo设置代理,即网站那边日志记录的爬虫IP是自身IP,这。。。也有办法,代理软件设置成系统代理即可,建议给爬虫的代理是另一套,不与扫描器重用

安装

  1. Xray
    https://github.com/chaitin/xray
  2. crawlergo_x_XRAY
    https://github.com/timwhitez/crawlergo_x_XRAY
  3. 没有批量扫描的需求也可直接安装crawlergo
    https://github.com/0Kee-Team/crawlergo

实现

  1. Xray配好代理并监听
    ./xray.exe webscan --listen 127.0.0.1:7777 --text-output proxy.txt

  2. crawlergo_x_XRAY配置好launcher_new.py,准备好targets.txt

  3. Python3启动launcher_new.py

注:若运行出现权限不足,请删除crawlergo空文件夹。

注意

  1. 做好白名单
  2. 授权进行
posted @ 2020-03-20 14:18  雨九九  阅读(3579)  评论(0编辑  收藏  举报