摘要：1. 对数据库进行分库分表的原因 超大容量： 数据表是超大表，数据库处理能力达到极限； 数据库包含多个超大表。 性能问题： 单一服务器性能有限 升级扩展： 单一主库无法灵活地进行升级和扩展，无法满足业务快速发展的需求 所有业务数据都放在同一个库中，存在单点故障风险。 2. 数据库拆分 将表按照业务拆 阅读全文

摘要：1. 背景 用于存储用户签到数据表中的数据量超过1500万条，在进行查询时相对缓慢决定对其进行分表。 2. 步骤 a. 分析业务场景 该表的使用者为签到用户和运营人员。 签到用户进行签到时在表中记录的相关信息：uid、时间、ip等。签到用户侧对数据库使用的基本特点是：单条记录写入，访问量大，服务要求 阅读全文

摘要：一、背景 入职后第一个上手项目。从一堆日志中提取出特定字段，然后导入数据库。 二、问题 1. 日志在不同的服务器上 2. 单个服务器上的内存空间不足，不能用来一次性解压很多数据 3. 使用python编写，刚开始对python不熟悉 4. 时间按照秒转化的，数据库中是按照毫秒存储 5. 日志按照月份 阅读全文