会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
yjy888
博客园
首页
新随笔
联系
订阅
管理
2020年7月23日
使用selenium+chrome做爬虫注意事项
摘要: 1、可以开多进程,但是每个使用独立的webdriver,需要复制多份。(chrome自身的问题,单个webdriver会导致蓝屏?) 2、一定要经常存数据!爬虫不可靠,可能会意外中断。 如果使用mysql 或者sql,每条数据存一次,或者每隔几条村一次;如果使用namedtuple,则用pickle
阅读全文
posted @ 2020-07-23 09:54 yjy888
阅读(828)
评论(0)
推荐(0)
编辑
公告