mongodb
Mongodb
一 简介
MongoDB是一款强大、灵活、且易于扩展的通用型数据库
1.1 易用性
|
|
1.2 易扩展性
|
|
1.3 丰富的功能
|
|
1.4、卓越的性能
|
|
二 MongoDB基础知识
2.1 文档是MongoDB的核心概念。文档就是键值对的一个有序集{‘msg’:’hello’,’foo’:3}。类似于python中的有序字典。
|
|
2.2 集合就是一组文档。如果将MongoDB中的一个文档比喻为关系型数据的一行，那么一个集合就是相当于一张表
|
|
2.3 数据库：在MongoDB中，多个文档组成集合，多个集合可以组成数据库
|
|
2.4 强调：把数据库名添加到集合名前，得到集合的完全限定名，即命名空间
|
|
mongodb介绍
1 MongoDB是一款强大、灵活、且易于扩展的通用型数据库
2 MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库
3 MongoDB基础知识
mysql mongodb
数据库 数据库
表 集合/表
一行数据 文档：json格式字符串
字段 字段
主键 主键
4 多个文档组成集合，多个集合可以组成数据库
4 有一些数据库名是保留的，可以直接访问这些有特殊作用的数据库。
#1、admin： 从身份认证的角度讲，这是“root”数据库，如果将一个用户添加到admin数据库，这个用户将自动获得所有数据库的权限。再者，一些特定的服务器端命令也只能从admin数据库运行，如列出所有数据库或关闭服务器
#2、local: 这个数据库永远都不可以复制，且一台服务器上的所有本地集合都可以存储在这个数据库中
#3、config: MongoDB用于分片设置时，分片信息会存储在config数据库中
三 安装&配置
3.1 安装
|
|
3.2 账号管理
|
|
mongodb安装配置
#0、下载地址 https://www.mongodb.com/download-center/community，选择平台下载
#1、安装，一路下一步
#2、会自动创建文件db和mongod.log文件,自动创建服务(新版本，不需要做了)
#3、注意bin路径下的配置文件mongod.cfg
storage:
dbPath: C:\Program Files\MongoDB\Server\4.2\data
journal:
enabled: true
# where to write logging data.
systemLog:
destination: file
logAppend: true
path: C:\Program Files\MongoDB\Server\4.2\log\mongod.log
# network interfaces
net:
port: 27017
bindIp: 127.0.0.1
# 4 启动命令
mongod --config "mongod.cfg"
net start MongoDB
net stop MongoDB
# mongod --config "mongod.cfg" --auth 开启认证‘
# 5 客户端连接
./mongo --host 10.0.0.5 --port 27017
# 6 show databses; 查看数据库
# 7 use admin 使用数据库
# 8 show tables; show collections; 查看数据库下的所有集合（表）
# 9 安装客户端
-navicat
-robo3t
0 创建用户（虽然创建了，看不到，必须有库，才能看到该库下的用户）
#需要以开启认证的方式启动mongodb服务
mongod --config "mongod.cfg" --auth
use test # 空数据库不显示
db.createUser(
{
user: "lqz",
pwd: "123",
roles: [ { role: "readWrite", db: "test" },
{ role: "read", db: "db1" } ]
}
)
1 注意点：如果一个库是空的，没有集合，没有文档，看不到这个库
2 不需要手动创建库，创建表，直接增加文档，库和表自动创建出来
use test
db.table1.insert({'a':1}) # 创建出test库，table1表，插入一条数据
四 基本数据类型
1、在概念上，MongoDB的文档与Javascript的对象相近，因而可以认为它类似于JSON。JSON（http://www.json.org）是一种简单的数据表示方式：其规范仅用一段文字就能描述清楚（其官网证明了这点），且仅包含六种数据类型。
2、这样有很多好处：易于理解、易于解析、易于记忆。然而从另一方面说，因为只有null、布尔、数字、字符串、数字和对象这几种数据类型，所以JSON的表达能力有一定的局限。
3、虽然JSON具备的这些类型已经具有很强的表现力，但绝大数应用（尤其是在于数据库打交道时）都还需要其他一些重要的类型。例如，JSON没有日期类型，这使得原本容易日期处理变得烦人。另外，JSON只有一种数字类型，无法区分浮点数和整数，更别区分32位和64位了。再者JSON无法表示其他一些通用类型，如正则表达式或函数。
4、MongoDB在保留了JSON基本键/值对特性的基础上，添加了其他一些数据类型。在不同的编程语言下，这些类型的确切表示有些许差异。下面说明了MongoDB支持的其他通用类型，以及如何正在文档中使用它们
|
|
_id和Objectid
|
|
基本数据类型
#1、null：用于表示空或不存在的字段
d={'x':null}
#2、布尔型：true和false
d={'x':true,'y':false}
#3、数值
d={'x':3,'y':3.1415926}
#4、字符串
d={'x':'egon'}
#5、日期
d={'x':new Date()}
d.x.getHours()
#6、正则表达式
d={'pattern':/^egon.*?nb$/i}
正则写在／／内，后面的i代表:
i 忽略大小写
m 多行匹配模式
x 忽略非转义的空白字符
s 单行匹配模式
#7、数组
d={'x':[1,'a','v']}
#8、内嵌文档
user={'name':'egon','addr':{'country':'China','city':'YT'}}
user.addr.country
#9、对象id:是一个12字节的ID,是文档的唯一标识，不可变
d={'x':ObjectId()}
# MongoDB中存储的文档必须有一个"_id"键。这个键的值可以是任意类型，默认是个ObjectId对象。
# 在一个集合里，每个文档都有唯一的“_id”,确保集合里每个文档都能被唯一标识。
# 不同集合"_id"的值可以重复，但同一集合内"_id"的值必须唯一
# mongod的_id字段是通过ObjectId()生成的，它能保证在不同的机器上生成的id号是唯一的
-类似于雪花算法：时间戳，机器号，进程id号和数字保证了唯一
五 CURD操作
5.1 数据库操作
|
|
5.2 集合操作（表）
|
|
5.3 文档操作
5.3.1 新增文档
|
|
5.3.2 查询文档
比较运算
|
|
逻辑运算
|
|
成员运算
|
|
正则匹配
|
|
取指定字段
|
|
查询数组
|
|
排序
|
|
分页
|
|
获取数量
|
|
其他
|
|
5.3.3 修改文档
语法介绍
|
|
覆盖式
|
|
设置$set
|
|
增加和减少
|
|
添加删除组内元素 $push $pop $pull
|
|
避免重复 “$addToSet”
|
|
其他
|
|
5.3.4 删除文档
|
|
5.3.5 聚合
|
|
准备数据
|
|
筛选 “$match”
|
|
投射 $project
|
|
分组 $group
|
|
排序$sort 限制 $limit 跳过 $skip
|
|
随机选取 $sample
|
|
curd操作
#1、增
use config #如果数据库不存在，则创建数据库，否则切换到指定数据库。
#2、查
show dbs #查看所有
show databases
可以看到，我们刚创建的数据库config并不在数据库的列表中， 要显示它，我们需要向config数据库插入一些数据。
db.table1.insert({'a':1})
#3、删
use config #先切换到要删的库下
db.dropDatabase() #删除当前库
#1、增
当第一个文档插入时，集合就会被创建
> use database1
switched to db database1
> db.table1.insert({'a':1})
WriteResult({ "nInserted" : 1 })
> db.table2.insert({'b':2})
WriteResult({ "nInserted" : 1 })
#注意 db.user和db.user.info是两个表
#2、查
> show collections
> show tables
table1
table2
#3、删
> db.table1.drop()
true
> show tables
table2
## 增加
#单条插入与多条插入
#1、没有指定_id则默认ObjectId,_id不能重复，且在插入后不可变
#2、插入单条
user0={
"name":"lqz",
"age":10,
'hobbies':['music','read','dancing'],
'addr':{
'country':'China',
'city':'BJ'
}
}
db.test.insert(user0)
db.test.find()
#3、插入多条
user1={
"_id":1,
"name":"lqz1",
"age":10,
'hobbies':['music','read','dancing'],
'addr':{
'country':'China',
'city':'weifang'
}
}
user2={
"_id":2,
"name":"lqz2",
"age":20,
'hobbies':['music','read','run'],
'addr':{
'country':'China',
'city':'hebei'
}
}
user3={
"_id":3,
"name":"lqz3",
"age":30,
'hobbies':['music','drink'],
'addr':{
'country':'China',
'city':'heibei'
}
}
user4={
"_id":4,
"name":"lqz4",
"age":40,
'hobbies':['music','read','dancing','tea'],
'addr':{
'country':'China',
'city':'BJ'
}
}
user5={
"_id":5,
"name":"lqz5",
"age":50,
'hobbies':['music','read',],
'addr':{
'country':'China',
'city':'henan'
}
}
db.user.insertMany([user1,user2,user3,user4,user5])
# 有则覆盖，没则新增
db.user.save({"_id":1,"name":"lqz"})
db.user.save({"name":"lqz"})
# 比较运算 # SQL：=,!=,>,<,>=,<= # MongoDB：{key:value}代表什么等于什么,"$ne","$gt","$lt","gte","lte",其中"$ne"能用于所有数据类型 db.user.find().pretty() # 以json格式显示，了解 #1、select * from db1.user where name = "lqz1"; db.user.find({'name':'lqz1'}) #2、select * from db1.user where name != "lqz2"; db.user.find({'name':{"$ne":'lqz2'}}) #3、select * from db1.user where id > 2; db.user.find({'_id':{'$gt':2}}) #4、select * from db1.user where id < 3; db.user.find({'_id':{'$lt':3}}) #5、select * from db1.user where id >= 2; db.user.find({"_id":{"$gte":2,}}) #6、select * from db1.user where id <= 2; db.user.find({"_id":{"$lte":2}})
#逻辑运算 # SQL：and，or，not ，mod（取余数） # MongoDB：字典中逗号分隔的多个条件是and关系，"$or"的条件放到[]内,"$not" #1、select * from db1.user where id >= 2 and id < 4; db.user.find({'_id':{"$gte":2,"$lt":4}}) #2、select * from db1.user where id >= 2 and age < 40; db.user.find({"_id":{"$gte":2},"age":{"$lt":40}}) #3、select * from db1.user where id >= 5 or name = "lqz"; db.user.find({ "$or":[ {'_id':{"$gte":5}}, {"name":"lqz"} ] }) #4、select * from db1.user where id % 2=1; db.user.find({'_id':{"$mod":[2,1]}}) #5、上题，取反 db.user.find({'_id':{"$not":{"$mod":[2,1]}}})
# 成员运算
# SQL：in，not in
# MongoDB："$in","$nin"
#1、select * from db1.user where age in (20,30,31);
db.user.find({"age":{"$in":[20,30,31]}})
#2、select * from db1.user where name not in ('lqz1','lqz2');
db.user.find({"name":{"$nin":['lqz1','lqz2']}})
# SQL: regexp 正则
# MongoDB: /正则表达/i
#1、select * from db1.user where name regexp '^l';
# 查询名字以l开头的人
db.user.find({"name":/.*?/})
db.user.find({"name":/^l/})
# 查询名字以l开头，以1结尾的所有数据
db.user.find({"name":/^l.*?1$/})
#1、select name,age from db1.user where id=3;
db.user.find({'_id':3},{'_id':0,'name':1,'age':1})
# 0表示不显示，1表示显示
#1、查看有dancing爱好的人
db.user.find({'hobbies':'dancing'})
#2、查看既有dancing爱好又有tea爱好的人
db.user.find({
'hobbies':{
"$all":['dancing','tea']
}
})
#3、查看第4个爱好为tea的人
db.user.find({"hobbies.3":'tea'})
#4、查看所有人最后两个爱好(注意没有hobbies字段的也会被查出)（本质用的是取指定字段，所以要放在后面的字典中）
db.user.find({},{'hobbies':{"$slice":-2},"age":0,"_id":0,"name":0,"addr":0})
#5、查看所有人的第2个到第3个爱好
db.user.find({},{'hobbies':{"$slice":[1,2]},"age":0,"_id":0,"name":0,"addr":0})
> db.blog.find().pretty()
{
"_id" : 1,
"name" : "alex意外死亡的真相",
"comments" : [
{
"name" : "egon",
"content" : "alex是谁？？？",
"thumb" : 200
},
{
"name" : "wxx",
"content" : "我去，真的假的",
"thumb" : 300
},
{
"name" : "yxx",
"content" : "吃喝嫖赌抽，欠下两个亿",
"thumb" : 40
},
{
"name" : "egon",
"content" : "xxx",
"thumb" : 0
}
]
}
db.blog.find({},{'comments':{"$slice":-2}}).pretty() #查询最后两个
db.blog.find({},{'comments':{"$slice":[1,2]}}).pretty() #查询1到2
# 排序:--1代表升序，-1代表降序
db.user.find().sort({"name":1,})
db.user.find().sort({"age":-1,'_id':1})
# 分页:--limit代表取多少个document，skip代表跳过前多少个document。
# limit中表示一页显示的条数，skip(页码数*一页显示的条数)
db.user.find().sort({'age':1}).limit(1).skip(2)
# 表关联
user {_id:1,name:lqz,age:18} 一个人写多篇文章
article ----》子查询
{'userid':1,article:红楼梦}
{'userid':1,article:西游记}
# 获取数量
db.user.count({'age':{"$gt":30}})
--或者
db.user.find({'age':{"$gt":30}}).count()
#1、{'key':null} 匹配key的值为null或者没有这个key
db.t2.insert({'a':10,'b':111})
db.t2.insert({'a':20})
db.t2.insert({'b':null})
> db.t2.find({"b":null})
{ "_id" : ObjectId("5a5cc2a7c1b4645aad959e5a"), "a" : 20 }
{ "_id" : ObjectId("5a5cc2a8c1b4645aad959e5b"), "b" : null }
#2、查找所有
db.user.find() #等同于db.user.find({})
db.user.find().pretty()
#3、查找一个，与find用法一致，只是只取匹配成功的第一个
db.user.findOne({"_id":{"$gt":3}})
update() 方法用于更新已存在的文档。语法格式如下： db.collection.update( <query>, <update>, { upsert: <boolean>, multi: <boolean>, writeConcern: <document> } ) 参数说明：对比update db1.t1 set name='EGON',sex='Male' where name='egon' and age=18; db.collection.update( {name:{$ne:lqz}}, {字典}, { upsert: <boolean>, multi: <boolean>, writeConcern: <document> } ) query : 相当于where条件。 update : update的对象和一些更新的操作符（如$,$inc...等，相当于set后面的 upsert : 可选，默认为false，代表如果不存在update的记录不更新也不插入，设置为true代表插入。 multi : 可选，默认为false，代表只更新找到的第一条记录，设为true,代表更新找到的全部记录。 writeConcern :可选，抛出异常的级别。 更新操作是不可分割的：若两个更新同时发送，先到达服务器的先执行，然后执行另外一个，不会破坏文档。
#注意：除非是删除，否则_id是始终不会变的
#1、覆盖式:
db.user.update({'age':30},{"name":"lqz9","hobbies_count":3})
是用{"_id":3,"name":"lqz3","hobbies_count":3}覆盖原来的记录
#2、一种最简单的更新就是用一个新的文档完全替换匹配的文档。这适用于大规模式迁移的情况。例如
var obj=db.user.findOne({"_id":4})
obj.username=obj.name+'NB'
obj.hobbies_count++
delete obj.age
delete obj._id
db.user.update({"_id":2},obj)
#设置：$set
通常文档只会有一部分需要更新。可以使用原子性的更新修改器，指定对文档中的某些字段进行更新。
更新修改器是种特殊的键，用来指定复杂的更新操作，比如修改、增加后者删除
#1、update db1.user set name="张三" where id = 2
db.user.update({'_id':2},{"$set":{"name":"张三",}})
#2、没有匹配成功则新增一条{"upsert":true}
db.user.update({'_id':6},{"$set":{"name":"李飞刀","age":18}},{"upsert":true})
#3、默认只改匹配成功的第一条,{"multi":改多条}
db.user.update({'_id':{"$gt":4}},{"$set":{"age":28}})
db.user.update({'_id':{"$gte":4}},{"$set":{"age":38}},{"multi":true})
#4、修改内嵌文档，把名字为lqz4的人所在的地址国家改成Japan
db.user.update({'name':"lqz4"},{"$set":{"addr.country":"Japan"}})
#5、把名字为lqz4的人的第2个爱好改成sleep
db.user.update({'name':"lqz4"},{"$set":{"hobbies.1":"sleep"}})
#6、删除lqz4的爱好,$unset
db.user.update({'name':"lqz4"},{"$unset":{"hobbies":""}})
#增加和减少：$inc
#1、所有人年龄增加一岁
db.user.update({},
{
"$inc":{"age":1}
},
{
"multi":true
}
)
#2、所有人年龄减少5岁
db.user.update({},
{
"$inc":{"age":-5}
},
{
"multi":true
}
)
#添加删除数组内元素
往数组内添加元素:$push
#1、为名字为lqz的人添加一个爱好read
db.user.update({"name":"lqz"},{"$push":{"hobbies":"read"}})
#2、为名字为lqz的人一次添加多个爱好tea，dancing
db.user.update({"name":"lqz"},{"$push":{
"hobbies":{"$each":["tea","dancing"]}
}})
按照位置且只能从开头或结尾删除元素：$pop
#3、{"$pop":{"key":1}} 从数组末尾删除一个元素
db.user.update({"name":"lqz"},{"$pop":{
"hobbies":1}
})
#4、{"$pop":{"key":-1}} 从头部删除
db.user.update({"name":"lqz"},{"$pop":{
"hobbies":-1}
})
#5、按照条件删除元素,："$pull" 把符合条件的统统删掉，而$pop只能从两端删
# 删除所有国家为chine的人的read爱好
db.user.update({'addr.country':"China"},{"$pull":{
"hobbies":"read"}
},
{
"multi":true
}
)
#避免添加重复："$addToSet"
db.urls.insert({"_id":1,"urls":[]})
db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}})
db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}})
db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}})
db.urls.update({"_id":1},{
"$addToSet":{
"urls":{
"$each":[
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.xxxx.com'
]
}
}
}
)
#1、了解：限制大小"$slice"，只留最后n个
db.user.update({"_id":5},{
"$push":{"hobbies":{
"$each":["read",'music','dancing'],
"$slice":-2
}
}
})
#2、了解：排序The $sort element value must be either 1 or -1"
db.user.update({"_id":5},{
"$push":{"hobbies":{
"$each":["read",'music','dancing'],
"$slice":-1,
"$sort":-1
}
}
})
#注意：不能只将"$slice"或者"$sort"与"$push"配合使用，且必须使用"$eah"
#1、删除多个中的第一个
db.user.deleteOne({ 'age': 8 })
#2、删除国家为China的全部
db.user.deleteMany( {'addr.country': 'China'} )
#3、删除全部
db.user.deleteMany({})
如果你有数据存储在MongoDB中，你想做的可能就不仅仅是将数据提取出来那么简单了；你可能希望对数据进行分析并加以利用。MongoDB提供了以下聚合工具：
#1、聚合框架
#2、MapReduce(详见MongoDB权威指南)
#3、几个简单聚合命令：count、distinct和group。(详见MongoDB权威指南)
#聚合框架：
可以使用多个构件创建一个管道，上一个构件的结果传给下一个构件。
这些构件包括（括号内为构件对应的操作符）：筛选($match)、投射($project)、分组($group)、排序($sort)、限制($limit)、跳过($skip)
不同的管道操作符可以任意组合，重复使用
六 Pymongo
|
|
from pymongo import MongoClient
from pymongo.collection import Collection
# conn=MongoClient('mongodb://localhost:27017/')
conn = MongoClient(host="127.0.0.1", port=27017)
# print(conn)
# 拿到test1库
# test1_database=conn.test1
test1_database = conn['test1']
# print(test1_database)
# 拿到表
# user_table=test1_database.user
user_table = test1_database['user']
print(user_table)
# 增删查改数据
# 查
# res = user_table.find({'name': "lqz"})
# for user in res:
# print(user)
user0 = {
"name": "egon",
"age": 10,
'hobbies': ['music', 'read', 'dancing'],
'addr': {
'country': 'China',
'city': 'BJ'
}
}
# 插入数据
# user_table.insert(user0)
# user_table.insert_one(user0)
# user_table.insert_many()
# 更新数据
# user_table.update({'_id':1},{'name':'EGON'})
# filter, update, upsert=False
# res=user_table.update_one({'_id':1},{"$set":{"name":"张三",}})
# # res=user_table.update({'_id':1},{'name':'zhangsna'})
# print(res)
# 删除数据
# res=user_table.delete_one({'_id':1})
# print(res)
# users.delete_many()
# users.delete_one()
七 练习题
|
|
|
|
每天逼着自己写点东西，终有一天会为自己的变化感动的。这是一个潜移默化的过程，每天坚持编编故事，自己不知不觉就会拥有故事人物的特质的。 Explicit is better than implicit.(清楚优于含糊)
