摘要: 学习了scrapy 爬虫框架 觉得这个框架做数据抓取很好用,但是不支持分布式。网上查了有大牛在它基础上进行改进出了一个scrapy-redis 的框架 在网上找了很多教程,但是都没有说到基于scrapy-redis从 0 搭建分布式 爬虫框架的。 因此我决定自己从 0 开始搭建 并把整个过程记录下来 阅读全文
posted @ 2018-02-24 18:00 晴天小猫 阅读(329) 评论(0) 推荐(0) 编辑
摘要: 查询数据使用db.表名.find()查询数据 如果不指定条件时则默认查询所有例如 > db.noPK.find() { "_id" : ObjectId("5a50642b908e6b07a84472a2"), "name" : "javascript", "value" : "vue.js" } 阅读全文
posted @ 2018-01-13 17:52 晴天小猫 阅读(9148) 评论(0) 推荐(0) 编辑
摘要: mongoDB 常用的条件操作符有 $lt 小于 $gt 大于 $lte 小于或等于 $gte 大于或等于 $ne 不等于 $in in 判断用于判断元素是否在数组里面 $nin not in 判断用于判断元素是不是不在数组里面 $or 或判断 > db.tianyc02.find() { "_id 阅读全文
posted @ 2018-01-13 17:51 晴天小猫 阅读(462) 评论(0) 推荐(0) 编辑
摘要: 使用 db.表名.update 配合$unset 使用 例如我们的表noPk 有两个列有字段名是script_type 我们要删除script_type=kshell字段 > db.noPK.find() { "_id" : ObjectId("5a50642b908e6b07a84472a2"), 阅读全文
posted @ 2018-01-13 17:48 晴天小猫 阅读(7400) 评论(1) 推荐(0) 编辑
摘要: 使用db.表名.update() 进行更新数据 指定的表必须是存在的 语法如下: db.collection.update( criteria, objNew, upsert, multi ) criteria : update的查询条件,类似sql update查询内where后面的 objNew 阅读全文
posted @ 2018-01-13 17:47 晴天小猫 阅读(2050) 评论(0) 推荐(0) 编辑
摘要: 使用db.表名.insert() 插入数据 无需关系表名是否存在,也没有字段名的限制 例如: db.mytable.insert({"_id": 1, "name": "java"}) db.mytable.insert({"name": "java", value: "spring"}) 我们还可 阅读全文
posted @ 2018-01-13 17:46 晴天小猫 阅读(306) 评论(0) 推荐(0) 编辑
摘要: 切换到某个数据库 使用 use 命令 指定数据库名称,如果数据库不存在则自动创建 例如 use mymongo 显示当前正在使用哪个数据库 使用db 命令即可 显示当前数据库有哪些表 使用 show tables 显示当前有那些数据库 使用show dbs 即可 阅读全文
posted @ 2018-01-13 17:45 晴天小猫 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 使用show dbs 命令即可查看 需要注意的是 当你刚创建了一个 数据库时该数据库为空,则 show dbs 则看不到 例如 > use mymongo switched to db mymongo > db mymongo > show dbs local 0.000GB 我创建mymongo 阅读全文
posted @ 2018-01-13 17:40 晴天小猫 阅读(3599) 评论(0) 推荐(0) 编辑
摘要: 当登入到mongoDB 之后 可以使用help 命令查看帮助文档 系统级帮助文档 > help db.help() help on db methods # 数据库级别帮助文档 db.mycoll.help() help on collection methods # 集合级别帮助文档 sh.hel 阅读全文
posted @ 2018-01-13 17:39 晴天小猫 阅读(342) 评论(0) 推荐(0) 编辑
摘要: mongodb 下载地址:https://www.mongodb.org/dl/linux/x86_64 下载完成之后一般安装下/usr/local路径下 在/usr/local创建monodb安装路径/usr mkdir -p /usr/local/mongo 创建数据文件保存路径 mkdir - 阅读全文
posted @ 2018-01-13 17:38 晴天小猫 阅读(101) 评论(0) 推荐(0) 编辑