摘要: 多进程虽然使用方便,可以充分利用CPU,但是由于个进程之间是并行且各自有自己的数据存储,所以很难进行数据间的通信,需要接入第三方模块,现在我依旧用糗事百科讲解下多线程的应用,举个例子之前用4个进程同时抓取糗事百科的段子数据,现在呢我需要在一个进程里开启多个线程分别抓取糗事百科的段子与用户信息,也就是 阅读全文
posted @ 2018-01-23 20:39 我爱在伊甸园吃苹果 阅读(602) 评论(0) 推荐(0) 编辑
摘要: 上卷中讲到,我有4个进程,可是我要同时爬取20+数据怎么办,很明显上卷的语法公式不可以,所以现在我引入线程池 现在看一下线程池的语法 看一下爬虫: 注意圈中重点 阅读全文
posted @ 2018-01-23 18:01 我爱在伊甸园吃苹果 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 进程这个东西概念很多人很模糊,而多进程并发爬虫也算是爬虫几大难点,现在我先说下进程的基本使用: 开启一个python文件 函数sayhi就是一个进程而且是主进程 现在呢我想循环输出NAME,n 正常我只要写一段循环就可以正常顺序逐条输出,也就是循环M次,所用的输出时间就是2M秒 我现在想让这些数据一 阅读全文
posted @ 2018-01-23 15:47 我爱在伊甸园吃苹果 阅读(537) 评论(0) 推荐(0) 编辑