python3使用sqlite3构建本地持久化缓存

环境：Windows 10_x64

python版本：3.9.2

sqlite3版本：3.34.0

日常python开发中会遇到数据持久化的问题，今天记录下如何使用sqlite3进行数据持久化，并提供示例代码及数据查看工具。

一、背景描述

python应用程序在运行过程中被kill掉（比如版本升级等情况），内存中的运行数据将会丢失，如果能够准实时将数据存储在缓存中，程序下次启动时将继续执行被kill之前的动作。

使用数据库作为持久化是笔记理想的选择，可现实情况可能需要python脚本进行本地持久化，相较于pickle等方式，sqlite3的持久化方式可扩展性比较强，方便后续迁移到mysql等数据库。

二、具体实现

1、基础使用示例

查看版本信息

import sqlite3
print(sqlite3.version_info) #显示sqlite3版本信息
print(sqlite3.sqlite_version) #显示SQLite版本信息

数据库创建或连接

conn = sqlite3.connect("test1.db")
cur = conn.cursor()

数据表创建

dbCreate = '''
CREATE TABLE user(
    user_id int,
    user_name text,
    password text
)
'''
cur.executescript(dbCreate)
conn.commit()

插入数据

conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(1,'user1','123456')")
conn.commit()

查询数据

cursor = conn.execute("SELECT * FROM user")
for row in cursor.fetchall():
    print(row)

完整示例代码如下：

#! /usr/bin/env python3
#--*-- ebcoding:utf-8 --*--

import sqlite3

dbCreate = '''
CREATE TABLE user(
    user_id int,
    user_name text,
    password text
)
'''

# 创建或连接数据库
conn = sqlite3.connect("test1.db")
cur = conn.cursor()

cur.executescript(dbCreate)
conn.commit()

conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(1,'user1','123456')")
conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(2,'user2','123457')")
conn.commit()

cursor = conn.execute("SELECT * FROM user")
for row in cursor.fetchall():
    print(row)

conn.close()

运行效果：

生成的 test1.db 数据库文件可以使用 sqlitestudio 进行查看，软件运行效果如下：

下载地址：

https://sqlitestudio.pl/

如果下载过慢，可从如下文末提供的渠道获取。

2、代码封装示例

实际使用过程中，需要进行代码封装，以便后续使用，这里以通话记录为例演示下封装过程。

1）定义全局缓存 gDCdrData，用于在内存中存放数据；
2）定义全局队列 gQCDR ，用于数据传递；
3）定义sqlite3持久化文件，并定义保留时长；
4）创建 ObjCdrItem 类，用于定义item数据结构；
5）定义sqlite3管理类 ObjCDRMgr，用于管理sqlite3数据库；
6）启动 dataGenThrd 线程模拟数据创建；
7）启动 updateThrd 线程用于数据更新；
8）启动 cleanThrd 线程用于数据清理；

示例代码如下：