10 2023 档案

python脚本中应用多线程和多进程理解

摘要：脚本内容因为要读取mongo某个全表数据（亿级别），有个字段有索引且是一堆多的关系从其他表读取所有这个字段（十万级别），再读取大表因为数据量大所以写个测试，从中拿出几条去大表查询（每次读到十万级别数据）多线程和多进程的影响不使用多线/进程 file = open('test2.csv', 阅读全文

posted @ 2023-10-19 11:42 weakxy 阅读(18) 评论(0) 推荐(0) 编辑

线上mongo慢查询可能原因影响

摘要：mongo主从节点影响 python中pymongo库的MongoClient类中readPreference参数可选主从(primary,secondary)，不指定默认为主节点线上部署的时候其实是有指定主从节点的连接类，但是后期开发在基类中从节点的方法逐渐被替代，导致后期的业务的查询压力来到了阅读全文

posted @ 2023-10-17 15:38 weakxy 阅读(11) 评论(0) 推荐(0) 编辑

mongodb慢查询对内存和CPU的影响

摘要：所得结果均为ChatGPT所得，只是用来记录好复习对内存的影响数据加载到内存： MongoDB使用内存来缓存最频繁访问的数据，以提高查询性能。这个缓存通常称为"工作集"。当一个查询需要访问某些数据时，MongoDB会尝试从内存中获取数据，这比从磁盘读取数据要快得多。慢查询导致数据逐出：当慢阅读全文

posted @ 2023-10-09 10:20 weakxy 阅读(224) 评论(0) 推荐(0) 编辑