2018年3月20日
scrapy 是指user_agent
摘要： 1、倒入random模块 2、在settings文件中添加useragent列表 阅读全文
posted @ 2018-03-20 16:07 破晓e 阅读(138) 评论(0) 推荐(0) 编辑
scrapy 使用代理ip
摘要： 1、在settings文件中添加ip池 IPPOOL=['xxx.xx.xx.xx','xxx.xx.xxx.xx'] 2、在middleware文件中添加自己的代理ip类(首先需要导入ipPOOL，random模块) class Myproxymiddleware(object): def __i 阅读全文
posted @ 2018-03-20 15:50 破晓e 阅读(345) 评论(0) 推荐(0) 编辑