摘要: 1、可以开多进程,但是每个使用独立的webdriver,需要复制多份。(chrome自身的问题,单个webdriver会导致蓝屏?) 2、一定要经常存数据!爬虫不可靠,可能会意外中断。 如果使用mysql 或者sql,每条数据存一次,或者每隔几条村一次;如果使用namedtuple,则用pickle 阅读全文
posted @ 2020-07-23 09:54 yjy888 阅读(828) 评论(0) 推荐(0) 编辑