cheflone

摘要： 最近拜读瑞安·米切尔的书关于并行抓取问题有很通俗的介绍： “网页抓去的速度很快，起码通常比雇佣几十个实习生手动网上复制数据要快很多。当然随着技术的不断进步和享乐适应，人们还是在某个时刻觉得‘不够快’，于是把目光转向分布式计算。 和其他领域不同的是，网页抓取不能单纯依靠‘给问题增加更多进程’来提升速度 阅读全文