一种爬虫架构分享
这是舆情分析系统,一种泛提取的爬虫,主要是要爬取63个网站或搜索引擎的新闻。
爬虫系统主要是分为主动式调度系统和被动式调度系统。这个架构图是主动去拿种子。
还有一种是被动调用模式,自己不去爬,但是会被http接口触发来爬,比如查一个地方的房价,不是全网爬完再存数据库,而是不需要数据库,每次爬取都是实时的爬取并返回结果。
反对极端面向过程编程思维方式,喜欢面向对象和设计模式的解读,喜欢对比极端面向过程编程和oop编程消耗代码代码行数的区别和原因。致力于使用oop和36种设计模式写出最高可复用的框架级代码和使用最少的代码行数完成任务,致力于使用oop和设计模式来使部分代码减少90%行,使绝大部分py文件最低减少50%-80%行的写法。