2017年8月18日
一种爬虫架构分享
摘要： 这是舆情分析系统，一种泛提取的爬虫，主要是要爬取63个网站或搜索引擎的新闻。 爬虫系统主要是分为主动式调度系统和被动式调度系统。这个架构图是主动去拿种子。 还有一种是被动调用模式，自己不去爬，但是会被http接口触发来爬，比如查一个地方的房价，不是全网爬完再存数据库，而是不需要数据库，每次爬取都是实 阅读全文
posted @ 2017-08-18 16:06 北风之神0509 阅读(510) 评论(0) 推荐(0) 编辑