pu369com

2020年1月23日

纯golang爬虫实战(三)-批量下载保存图片

摘要: 网站上有9000多张照片要下载: //一开始参考https://www.jb51.net/article/153275.htm用reader和writer进行io.Copy,但经常是抓取100多个网页后就崩溃了, //原因似乎是输入输出流影响或并发数量影响,代码执行快,输出流写硬盘慢。 //后来参考 阅读全文

posted @ 2020-01-23 16:43 pu369com 阅读(2870) 评论(0) 推荐(0) 编辑

导航