2019年7月16日
手写分布式爬虫
摘要： 手写分布式爬虫 分布式进程是指将Process进程分布到多台机器上，充分利用多台机器的性能完成复杂的任务。在Python的通过multiprocessing库来完成，该模块不仅支持多进程且还支持将多进程分布到多台机器上。分布式进程就是将把Queue暴露到网络中让其他机器进程可以访问的过程进行了封装， 阅读全文
posted @ 2019-07-16 11:37 孔辉 阅读(556) 评论(0) 推荐(0) 编辑