2018年2月4日

python简单分布式爬虫

摘要: 本章讲的依旧是实战项目,实战内容是打造分布式爬虫,这对初学者来说,是一个不小的挑战,也是一次有意义的尝试。这次打造的分布式爬虫采用比较简单的主从模式,完全手工打造,不使用成熟框架,基本上涵盖了前六章的主要知识点,其中涉及分布式的知识点是分布式进程和进程间通信的内容,算是对Python爬虫基础篇的总结 阅读全文

posted @ 2018-02-04 22:52 niansi 阅读(3157) 评论(0) 推荐(0) 编辑

导航