2019年9月27日
多进程 + 多线程抓取博客园信息
摘要： 为每个进程分配一定数量的页面，然后在由进程去给线程分配待抓取页面，抓取到信息之后保存到“博客园.csv”文件中。 第三方模块 aiohttp : 协程模块 beautifulsoup4：解析模块 安装 ： pip install aiohttp pip install beautifulsoup4 阅读全文
posted @ 2019-09-27 13:12 破壳而出的蝌蚪 阅读(337) 评论(0) 推荐(0) 编辑