摘要: Scrapy-Redis 架构分析 scrapy任务调度是基于文件系统,这样只能在单机执行crawl。 scrapy-redis将待抓取request请求信息和数据items信息的存取放到redis queue里,使多台服务器可以同时执行crawl和items process,大大提升了数据爬取和处 阅读全文
posted @ 2019-05-02 14:27 点点花飞谢 阅读(265) 评论(0) 推荐(0) 编辑
摘要: linux下递归删除目录下所有exe文件 (1) "." 表示从当前目录开始递归查找 (2) “ -name '*.exe' "根据名称来查找,要查找所有以.exe结尾的文件夹或者文件 (3) " -type f "查找的类型为文件 (4) "-print" 输出查找的文件目录名 (5) 最主要的是 阅读全文
posted @ 2019-05-02 13:10 点点花飞谢 阅读(840) 评论(0) 推荐(0) 编辑