linux 配置crawlergo_xray

用的是阿里云学生机服务器，ubuntu系统

先安装一个chromium内核，参考：https://blog.csdn.net/sdujava2011/article/details/50880663

32位：

　　下载：wget https://dl.google.com/linux/direct/google-chrome-stable_current_i386.deb

　　安装：sudo dpkg -i google-chrome-stable_current_i386.deb

64位：

　　下载：wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb

　　安装：sudo dpkg -i google-chrome-stable_current_amd64.deb

 

然后找到路径：

which ch(双击Tab键）（主要为了确认安装是否成功）

然后填补

which chromium

比如我的是这样子的(路径记下来，有用的）

 

 

 

之后下载python以及用pip下载这些库

 

 

 

然后clone原作者的项目https://github.com/timwhitez/crawlergo_x_XRAY

git clone https://github.com/timwhitez/crawlergo_x_XRAY.git

之后的crawlergo 和xray我是选择手动下载在上传到服务器中的

crawlergo：https://github.com/0Kee-Team/crawlergo/tags

xray：https://github.com/chaitin/xray/tags

注意选择linux版本

 

crawlergo文件放在和launch.py同目录下

xray的位置随意，推荐放在crawlergo_x_XRAY里面

 

上传到服务器后，有可能无法运行，chmod 777 给一下权限

 

测试一下能不能用

crawlergo：  ./crawlergo -c [chromium路径] -t [最大标签页数] [目标网址]

　　　　　　./crawlergo -c /snap/bin/chromium -t 5 http://www.baidu.com

可以正常运行：

 

 
xray ：./xray_linux_amd64 version

可以正常运行：

 

 　　

之后vim打开launch.py

找到这一行

 

 修改为chromium的路径

:wq保存退出

 

 

直接测试运行一下

xray： ./xray_linux_amd64 webscan --listen 127.0.0.1:7777 --html-output test_1.html

python3 launcher.py

可能会比较久