摘要: 最近在学Python,同时也在学如何使用python抓取数据,于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy,下面一起学习下Scrapy的架构,便于更好的使用这个工具。 一、概述 下图显示了Scrapy的大体架构,其中包含了它的主要组件及系统的数据处理流程(绿色箭头所示)。下面就来 阅读全文
posted @ 2016-12-07 18:22 大肥龙 阅读(298) 评论(0) 推荐(0) 编辑
摘要: http://www.yiibai.com/mongodb/mongodb_quick_guide.html 创建数据库 MongoDB use DATABASE_NAME 用于创建数据库。该命令如果数据库不存在,将创建一个新的数据库, 否则将返回现有的数据库。 语法 use DATABASE语句的 阅读全文
posted @ 2016-12-07 17:05 大肥龙 阅读(458) 评论(0) 推荐(0) 编辑
摘要: http://www.yiibai.com/redis/redis_quick_guide.html Redis 有三个主要使其有别于其它很多竞争对手的特点: Redis是完全在内存中保存数据的数据库,使用磁盘只是为了持久性目的; Redis相比许多键值数据存储系统有相对丰富的数据类型; Redis 阅读全文
posted @ 2016-12-07 15:15 大肥龙 阅读(190) 评论(0) 推荐(0) 编辑
摘要: memcache函数所有的方法列表如下: 参考http://www.php.net/manual/zh/function.Memcache-add.php Memcache::add - 添加一个值,如果已经存在,则返回false Memcache::addServer - 添加一个可供使用的服务器 阅读全文
posted @ 2016-12-07 11:23 大肥龙 阅读(579) 评论(0) 推荐(0) 编辑
摘要: 本文为大家介绍 使用wget做站点镜像及wget的高级用法,供大家学习参考。 # wget -r -p -np -k http://xxx.edu.cn -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西 阅读全文
posted @ 2016-11-17 14:15 大肥龙 阅读(4291) 评论(0) 推荐(0) 编辑
摘要: 这是一篇测试文章。。。 阅读全文
posted @ 2016-11-08 15:27 大肥龙 阅读(104) 评论(0) 推荐(0) 编辑