会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Mike Cheers 的技术乐园
核心矛盾在于,我们必须了解最微小的细节,才有可能解决规模化问题。
博客园
首页
新随笔
联系
订阅
管理
2020年2月21日
《C# 爬虫 破境之道》:第二境 爬虫应用 — 第七节:并发控制与策略
摘要: 我们在第五节中提到一个问题,任务队列增长速度太快,与之对应的采集、分析、处理速度远远跟不上,造成内存快速增长,带宽占用过高,CPU使用率过高,这样是极度有害系统健康的。 我们在开发采集程序的时候,总是希望能够尽快将数据爬取下来,如果总任务数量很小(2~3K请求数之内),总耗费时长很短(1~2分钟之内
阅读全文
posted @ 2020-02-21 10:24 MikeCheers
阅读(669)
评论(5)
推荐(5)
编辑
公告