会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
HappyLab
博客园
首页
新随笔
联系
订阅
管理
2018年2月22日
Python多线程爬虫与多种数据存储方式实现(Python爬虫实战2)
摘要: 1. 多进程爬虫 对于数据量较大的爬虫,对数据的处理要求较高时,可以采用python多进程或多线程的机制完成,多进程是指分配多个CPU处理程序,同一时刻只有一个CPU在工作,多线程是指进程内部有多个类似"子进程"同时在协同工作。python中有多种多个模块可完成多进程和多线程的工作,此处此用mult
阅读全文
posted @ 2018-02-22 14:37 HappyLab
阅读(733)
评论(0)
推荐(0)
编辑