SpringBoot v2.x MongodB 中 去除 _class 字段
摘要:https://blog.csdn.net/bigtree_3721/article/details/82787411 在使用SpringBoot中使用MongoTemplate时,数据库中数据会有_class字段.。_class的意义,在下面这个链接有很好的解答: http://stackover
阅读全文
posted @
2022-03-28 15:38
lshan
阅读(1624)
推荐(0) 编辑
mongo 对数组元素及内嵌文档进行增删改查操作
摘要:springboot 2.2.5 比如我有一个user类,他包含一个标签属性,这个标签是一个数组,数组里面的元素是内嵌文档,格式如下: { "_id" : "195861", "tags" : [ { "tagId" : NumberLong(766), "optDate" : ISODate("2
阅读全文
posted @
2021-12-08 10:28
lshan
阅读(920)
推荐(0) 编辑
mongoShake docker 部署 (mongoshake:2.6.5)
摘要:mongoshake:2.6.5 docker 1. 下载镜像 sudo docker pull happysea/mongoshake:2.6.5 2. 同步mongo 数据 (192.168.18.176:27018,192.168.18.176:27019,192.168.18.176:270
阅读全文
posted @
2021-11-04 14:07
lshan
阅读(640)
推荐(0) 编辑
mongoDB -- 全文索引
摘要:概要: 对于几百万条数据,并发又不是很高,查询不是很复杂的情况下,前期就直接使用 elasticsearch,solr有点大材小用,就算后期确实数据庞大,查询复杂,再用elasticsearch 也就是分分钟的事情 使用: 重新建立索引: 通常创建索引生效时间是当前,对历史数据不建立索引,可以reI
阅读全文
posted @
2021-11-02 12:35
lshan
阅读(1412)
推荐(0) 编辑
mongo 增量同步之 MongoShake(3) kafka python处理kafka oplog mongoUtils
摘要:场景: 采用 MongoShake 同步数据到kafka, 然后用python 处理, 做etl , 或者其他操作: # 同步 db_sea_user , db_tom_user to db_all_user (mongodb) , 并且添加db_name(customer) 代码: MongoOp
阅读全文
posted @
2021-09-27 17:45
lshan
阅读(182)
推荐(0) 编辑
mongo 增量同步之 MongoShake(2) kafka json to python json
摘要:目的: MongoShake 数据同步到kafka(json格式),是带有{"Name":"key","Value":"123"} 的json, 实际上这个json 为 {"key":"123"} 转换如下: import json ''' k:节点name v:节点value cn:当前节点 ''
阅读全文
posted @
2021-09-27 17:33
lshan
阅读(89)
推荐(0) 编辑
mongodb 增量同步之 MongoShake(1)
摘要:概要: 目的:增量同步mongodb 的数据(mongo需集群,或者副本集模式) 1.官网文档 2 基本安装,启动,监控 3.小试牛刀,最佳实践 0.官网文档: github: https://github.com/alibaba/MongoShake/ releases: https://gith
阅读全文
posted @
2021-09-26 16:41
lshan
阅读(2971)
推荐(0) 编辑
MongoDB 原子操作(findAndModify)
摘要:原文:https://blog.csdn.net/weixin_41888813/article/details/96118703?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.c
阅读全文
posted @
2020-12-07 15:05
lshan
阅读(3622)
推荐(0) 编辑
springboot 多数据源(2)使用 Mongorepository
摘要:原文:https://blog.csdn.net/qq_35418518/article/details/107411512?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.chan
阅读全文
posted @
2020-11-04 12:12
lshan
阅读(993)
推荐(0) 编辑
spark-monog(2 数据读写)
摘要:原文:https://blog.csdn.net/u011098327/article/details/72865934 依赖: <dependency> <groupId>org.mongodb.spark</groupId> <artifactId>mongo-spark-connector_2
阅读全文
posted @
2020-09-08 12:04
lshan
阅读(318)
推荐(0) 编辑
spark-mongo(1 读写数据)
摘要:参考链接 MongoDB Connector for Spark官方文档 Mongo Spark 源码 原文:https://www.jianshu.com/p/dbac491317cc 场景:适用于数据清洗,如只需要部分字段: 依赖: <dependency> <groupId>org.mongo
阅读全文
posted @
2020-09-08 11:48
lshan
阅读(837)
推荐(0) 编辑
monogdb 实现聚合(多表联查)springBoot 分组, topN
摘要:参见:原文链接:https://blog.csdn.net/weixin_44530530/java/article/details/91901631 1.联表查询 2. 分组去重(案例) 3. 分组 4. topn 依赖: <dependency> <groupId>org.springframe
阅读全文
posted @
2020-07-16 16:27
lshan
阅读(5122)
推荐(0) 编辑
mongoDB 事务(springboot)
摘要:原文:https://www.cnblogs.com/vettel0329/p/10778931.html mongoDB单个实例不支持事务,副本集才支持事务 1.准备好docker 2.Spring boot 版本为2.1.1.RELEASE及以上 首先以主从模式安装mongodb 4.0.0以上
阅读全文
posted @
2020-07-16 16:19
lshan
阅读(2597)
推荐(0) 编辑
mongoTemplate query update (指定查询哪些字段)
摘要:1.指定查询哪些字段 方式一: Query query = new Query(); query.fields().include("booking"); //包含该字段 query.fields().exclude("salary");//不包含该字段 Booking booking = mong
阅读全文
posted @
2020-07-10 17:54
lshan
阅读(4054)
推荐(0) 编辑