部署一个Python爬虫环境(七)-ubuntu版_部署项目
一,运行测试
1.启用mitmdump或者mitmproxy,打开mitmdump:
root@Server:~# mitmdump
2.打开手机,选中wifi,点击修改网络
选中“显示高级选项”,配置如下,服务器主机名为mitmproxy环境机的ip
3.手机安装mitmproxy证书(a.电脑和手机必须位于同一个局域网;b.mitmdump(mitmproxy)必须运行)
使用手机浏览器访问 mitm.it,下载安卓版本证书。
界面与(一)中的界面不太一样,
比较下(一)与(七)的mitmdump版本
C:\Users\ll>mitmdump --version Mitmproxy: 5.3.0 Python: 3.7.1 OpenSSL: OpenSSL 1.1.1h 22 Sep 2020 Platform: Windows-7-6.1.7601-SP1
root@Server:/# mitmdump --version Mitmproxy: 5.3.0 Python: 3.6.9 OpenSSL: OpenSSL 1.1.1h 22 Sep 2020 Platform: Linux-4.15.0-136-generic-x86_64-with-Ubuntu-18.04-bionic
差别不是很大。
安装证书,这里是cer格式与(一)中安装的pem格式又不太一样。
(一)
证书的详细安装方法见(一)
4.结果:
补充:这个mitmproxy环境,不适用于Android9与10的手机,Android6是可以的,上面3中的第二个图描述的适用于Android10(Android API Level24),不知道是什么鬼情况。我咨询了大佬,了解到Andriod7.0以下是可以的,并未追问太多。
出现的问题一:卡在安装证书界面(界面运行在手机后台,前台不显示)或是证书下载失败
出现的问题二:证书安装成功后,通过代理连不上网(下图是下载证书失败的图,不是本条的图,报错信息是一样的)
二,开机自启
略(一直运行并不能达到这个项目的效果,需要使用时再打开)
补充:
出错问题1:
root@root1:~# mitmdump -s /usr/www/Crawler/mitm.py -q in script /usr/www/Crawler/mitm.py: No module named 'records'
对策:
pip3 install records
本文来自博客园,作者:꧁执笔小白꧂,转载请注明原文链接:https://www.cnblogs.com/qq2806933146xiaobai/p/14415074.html