摘要: 作用,之间将目标网页保存金本地1、爬虫代码修改自网络,目前运行平稳,博主需要的是精准爬取,数据量并不大,暂未加多线程。2、分割策略是通过查询条件进行分类,循环启动多条线程。1、单线程简单爬虫(第二次整理)import urllib.parseimport urllib.req... 阅读全文
posted @ 2018-06-28 15:11 黑猫先生 阅读(259) 评论(0) 推荐(0) 编辑
摘要: 昨晚遇到了一个问题:pip下载了request类库,以及在pyCharm的setting中下载了request类库,项目左侧也能显示出requst文件夹,但是引入报错! 这里贴一下我的解决方案,在此记录一下: 1、我系统中环境变量配置的python... 阅读全文
posted @ 2018-06-28 14:54 黑猫先生 阅读(191) 评论(0) 推荐(0) 编辑