部署一个Python爬虫环境(七)-ubuntu版_部署项目

一,运行测试

 1.启用mitmdump或者mitmproxy,打开mitmdump:

root@Server:~# mitmdump

 2.打开手机,选中wifi,点击修改网络

 

 选中“显示高级选项”,配置如下,服务器主机名为mitmproxy环境机的ip

3.手机安装mitmproxy证书(a.电脑和手机必须位于同一个局域网;b.mitmdump(mitmproxy)必须运行)

使用手机浏览器访问 mitm.it,下载安卓版本证书。

  

   界面与(一)中的界面不太一样,

比较下(一)与(七)的mitmdump版本

C:\Users\ll>mitmdump --version
Mitmproxy: 5.3.0
Python:    3.7.1
OpenSSL:   OpenSSL 1.1.1h  22 Sep 2020
Platform:  Windows-7-6.1.7601-SP1
root@Server:/# mitmdump --version
Mitmproxy: 5.3.0
Python:    3.6.9
OpenSSL:   OpenSSL 1.1.1h  22 Sep 2020
Platform:  Linux-4.15.0-136-generic-x86_64-with-Ubuntu-18.04-bionic

  差别不是很大。

 安装证书,这里是cer格式与(一)中安装的pem格式又不太一样。

 (一)

   证书的详细安装方法见(一)

4.结果:

   补充:这个mitmproxy环境,不适用于Android9与10的手机,Android6是可以的,上面3中的第二个图描述的适用于Android10(Android API Level24),不知道是什么鬼情况。我咨询了大佬,了解到Andriod7.0以下是可以的,并未追问太多。

  出现的问题一:卡在安装证书界面(界面运行在手机后台,前台不显示)或是证书下载失败

  出现的问题二:证书安装成功后,通过代理连不上网(下图是下载证书失败的图,不是本条的图,报错信息是一样的)

  

二,开机自启

  略(一直运行并不能达到这个项目的效果,需要使用时再打开)

 

补充:

  出错问题1:

root@root1:~# mitmdump -s /usr/www/Crawler/mitm.py -q
in script /usr/www/Crawler/mitm.py: No module named 'records'

  对策:

pip3 install records

 

posted @ 2021-02-19 10:59  ꧁执笔小白꧂  阅读(220)  评论(0编辑  收藏  举报