随笔分类 - Python
摘要：1. 使用python操作mogodb实现类似于SQL的In方法： 相关示例代码如下 from pymongo import MongoClient # 连接到MongoDB数据库 client = MongoClient('mongodb://localhost:27017/') # 选择数据库和
阅读全文
摘要：python 处理异步物化视图同时执行导致内存溢出问题 一、前提：因为物化视图过多，同时物化视图到时间同时爆发，导致CPU爆满，所以采用datax自带的调度服务来执行python命令 二、直接看代码: import pymysql import pymssql import datetime imp
阅读全文
摘要：使用python进行数据同步，根据游标的方式 一、介绍： 数据同步分为好几种，比如根据最大id排序，其次才是根据游标进行排序。 为什么不使用最大id进行数据同步？ 如下： 因为如果数据表中的数据是按照降序排序的，那么每次根据最大id取1000条数据的方式也是一种可行的分页查询方式。这种方式的优点是简
阅读全文
