摘要: 测试代码结构: 演示案例并没有进行网页爬取,主要目的是演示重复import的问题。 spider目录下是各个业务spider,把任务提交到crawler。 crawler中有个任务队列汇集各个业务spider提交的任务,然后在独立的线程中对任务进行实际的爬取动作。 main启动crawler及各个业 阅读全文
posted @ 2021-09-02 12:45 liDB 阅读(769) 评论(0) 推荐(0) 编辑