2020年6月15日
WebMaic介绍
摘要： WebMagic 一款爬虫框架 WebMagic项目代码分为核心和扩展两部分。 核心部分是一个精简的、模块化的爬虫实现 扩展部分则是包括一些便利的、实用性的功能 架构介绍 WebMagic的结构分为四部分：Downloader、PageProcessor、 Scheduler、Pipeline四大组 阅读全文
posted @ 2020-06-15 23:45 IT特工 阅读(206) 评论(0) 推荐(0) 编辑