2018年1月26日

分布式爬虫

摘要: 一 介绍 二 scrapy_redis组件 一 介绍 原来scrapy的Scheduler维护的是本机的任务队列(存放Request对象及其回调函数等信息)+本机的去重队列(存放访问过的url地址) 所以实现分布式爬取的关键就是,找一台专门的主机上运行一个共享的队列比如Redis,然后重写Scrap 阅读全文

posted @ 2018-01-26 17:15 黎明NB 阅读(113) 评论(0) 推荐(0) 编辑

ES6入门

摘要: 一 变量与常量 二 模板字符串 三 解构变量 四 对象的扩展 五 函数的扩展 六 数组的扩展 ES6:EMCAScript6 (es2015) Emca:国际标准组织 一 变量与常量 const a='hello' 常量是定义后就不能更改的 let和var定义的是变量 let :定义一个块级作用域的 阅读全文

posted @ 2018-01-26 15:28 黎明NB 阅读(140) 评论(0) 推荐(0) 编辑

导航