会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
springionic
博客园
首页
新随笔
联系
订阅
管理
2019年7月2日
多线程爬取糗事百科热门段子 (改写前天的博客)
摘要: 利用多线程爬取,除了先前用到的几个模块之外,还需用到threading模块和queue模块: 为每一件事情开启一个线程:构造url_list、发送请求、提取数据、保存数据 __init__方法添加三个实例属性队列分别存放:url、响应内容、处理后的数据 改写原先每一个方法里的代码,需要的东西直接从队
阅读全文
posted @ 2019-07-02 18:01 springionic
阅读(287)
评论(0)
推荐(0)
编辑
公告