把爬虫部署到这个vps云主机上面-操作方法
现在的问题是如何操作把爬虫部署到这个vps云主机上面,
第一步,购买云主机,http://www.5jwl.com/ 无极网络,
我使用这个公司的,
第二步,在云主机配置拨号,这个每个厂商都有教程,
买了之后问问厂商,
第三步,在vps安装python和配置python虚拟环境,
这一步在centos安装python可能会比较麻烦,
第四步,部署爬虫代码,
既然你要让这个vps能改变ip,就要知道用代码来控制断开拨号和开启拨号,这样才可以改变ip,
然后就是要知道怎么通过代码获取ip和端口,这样才可以在代码里使用这个ip代理,
但是如果只是把爬虫部署到vps上,就不需要获取这个ip和端口了,因为你就在机器里面,用的就是这个ip和端口,
只是如果你需要远程调用的话,需要知道这个ip和端口,才可以远程调用,
#####
centos的网络的操作,
ifconfig
这是初始的ip,
这是停止拨号的情况,会发现ppp0不见了,
这是停止拨号之后,重新开始拨号,会发现这个ppp0的ip变换了,
pppoe-start 开始拨号,我发现这一步很慢, 应该是在建立连接,打开要好几秒,这种效率低,
ping www.baidu.com 进行网络验证
开始拨号的网络
停止拨号的网络
pppoe-stop 停止拨号
pppoe-status查看拨号状态和拨号后的信息
开始拨号的状态
停止拨号的状态
#####
上面是centos的操作
如果能使用代码操作这个拨号
如果需要把断网重拨命令写入脚本的话,pppoe-stop && pppoe-start命令之间需要加sleep 1s一秒延迟,否则会拨号不成功。若使用/sbin/ifdown ppp0 && /sbin/ifup ppp0,则不需要加一秒延迟,也能正常拨号成功。
import os import time os.system("ifdown ppp0") status = os.system("pppoe-status") print(status) time.sleep(6) os.system("ifup ppp0") status = os.system("pppoe-status") print(status)
这样就可以实现拨号了,然后你就可以继续下一步了,把这个命令融入你的爬虫脚本
#####