摘要: 生产者、消费者模式 https://www.cnblogs.com/jjb1997/articles/11351697.html 在实际的软件开发过程中,经常会碰到如下场景: 某个模块负责产生数据,这些数据由另一个模块来负责处理(此处的模块是广义的,可以是类、函数、线程、进程等)。 产生数据的模块, 阅读全文
posted @ 2019-08-24 13:22 JamJarBranch 阅读(76) 评论(0) 推荐(0) 编辑
摘要: 简介 Celery是一个异步任务的调度工具。 Celery 是 Distributed Task Queue,分布式任务队列,分布式决定了可以有多个 worker 的存在,队列表示其是异步操作,即存在一个产生任务提出需求的工头,和一群等着被分配工作的码农。 Broker中间人: 在工头提出任务的时候 阅读全文
posted @ 2019-08-24 12:52 JamJarBranch 阅读(100) 评论(0) 推荐(0) 编辑
摘要: 网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型: 通用网络爬虫(General Purpose Web Crawler) 聚焦网络爬虫(Focused Web Crawler) 增量式网络爬虫(Incremental Web Crawler) 深层网络爬虫(Deep Web Crawler 阅读全文
posted @ 2019-08-24 12:03 JamJarBranch 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 回溯法 回溯法(探索与回溯法)是一种选优搜索法,按选优条件向前搜索,以达到目标。 但当探索到某一步时,发现原先选择并不优或达不到目标,就退回一步重新选择, 这种走不通就退回再走的技术为回溯法,而满足回溯条件的某个状态的点称为“回溯点”。 1.深度优先搜索(DepthFirstSearch) 深度优先 阅读全文
posted @ 2019-08-24 11:17 JamJarBranch 阅读(1112) 评论(0) 推荐(0) 编辑