2019年2月3日

Python爬虫,多进程 + 日志记录

摘要: 本爬虫开启了进程池,执行多个进程爬取网站图片。爬取过程中,将操作信息写入日志文件 “Photo_Galleries.log” 。 在main()中: 以multiprocessing.Process()启动一个进程process_logger,执行任务task_logger()。该进程的接口为mul 阅读全文

posted @ 2019-02-03 13:57 McGill 阅读(1646) 评论(0) 推荐(0) 编辑

导航