会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
桂花载酒少年游
博客园
首页
新随笔
联系
订阅
管理
2022年8月7日
网络爬虫内存溢出问题
摘要: 问题: SparkStreaming 流式流式任务总是异常退出,看过worker的日志后发现再爬取一个二进制文件时会出现堆内存溢出的问题,将该文件下载下来后发现该文件的大小只有8m左右,我们的任务设置的worker内存为3G,正常来说是不会导致内存溢出的。网络爬虫的框架使用的是webmagic,于是
阅读全文
posted @ 2022-08-07 21:10 桂花载酒少年游O
阅读(211)
评论(0)
推荐(0)
编辑
公告