摘要: 需求 满足产品数据团队计算相关需求,搭建spark集群,本集群为一主两从(两台设备) 部署环境 服务器资源 docker-compose 安装 curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-comp 阅读全文
posted @ 2024-05-10 13:53 lixinliang 阅读(304) 评论(0) 推荐(0) 编辑
摘要: 需求 DTS传输同步数据的需求,需要将mongodb里的数据更新、数据增加操作同步给FC函数 MongoDB中的Oplog(操作日志)是一个特殊的集合,用于记录数据库的所有操作。Oplog是MongoDB复制集中的一个重要组成部分,它允许从节点通过读取Oplog来实现与主节点的数据同步。所以要把单实 阅读全文
posted @ 2024-05-10 13:47 lixinliang 阅读(251) 评论(0) 推荐(0) 编辑