撸了个 django 数据迁移工具 django-supertube
撸了个 django 数据迁移工具 django-supertube
支持字段映射和动态字段转化。 欢迎 star,issue
https://github.com/FingerLiu/django-supertube
起因
最近参与了公司系统的重构,重构基本完成后,由于数据库表结构变化很大,很多小组都需要数据迁移。如果都写 sql 的话,要做很多重复的工作。于是去搜了下 django 有没有相关的工具,很遗憾没有搜到,于是自己撸了这个数据迁移的轮子。
主要功能
A powerful django migration tool to migrate from latency database to new databse using awesome django ORM
使用 django 强大的 ORM 系统灵活的进行数据迁移工作。
目前包含以下功能点:
- 支持相同字段自动映射
- 批量写入
- 支持修改字段映射
- 支持通过调用函数的方式
- 自动修复 postgres sequence
- 实时进度提醒
- 数据量大时支持并行执行(开发中)
django-supertube
A powerful django migration tool to migrate from latency database to new databse using awesome django ORM
例子
settings.py
DATABASES = {
'default': config('DATABASE_URL', cast=db_url),
'latency': config('LATENCY_DATABASE_URL', cast=db_url)
}
management/commands/mig_01_user.py
from django.utils import timezone
from si.tools.supertube import SuperTube, TubeSet
"""
class LatencyUser:
email
password
age
class User:
email
age
username
password
is_admin
create_datetime
例子从 latency 数据库的 LatencyUser 取数据迁移到 default 数据库的 User 中:
- 新加 username 字段,数据值从原 email 字段取
- 修改 age 字段变为原来的 age+1
- 新加 create_datetime 字段
- 新加 is_admin 字段,默认值为 False
"""
class Command(BaseCommand):
def handle(self, *args, **options):
kwargs = {
'mapping': {
'username': 'email',
'age': lambda obj: obj.age + 1,
'create_datetime': timezone.now()},
'defaults': {'is_admin': False}
'source_db': 'whistler'
}
st = SuperTube(LatencyUser, User, **kwargs)
st.run(stop_on_error=True)
迁移工具 SuperTube 和 TubeSet 更多说明和例子参考这个文档
一个为 latency 中的旧数据建表的例子:
class Order(models.Model):
sn = models.CharField(u'领用单编号', max_length=100)
created = models.DateTimeField(u'创建时间', auto_now_add=True)
apply_qty = models.IntegerField(u'计划领用数量', blank=True, null=True)
# TODO 1 将原 model 中的外键字段名改为 原字段名+_id ,类型改为 IntegerField
# batch = models.ForeignKey('stock.Batch', blank=True, null=True)
batch_id = models.IntegerField('stock.Batch', blank=True, null=True)
purpose = models.PositiveIntegerField(u'领用用途', choices=PURPOSES, blank=True, null=True)
# platform = models.ForeignKey('si.Platform', blank=True, null=True, related_name='+')
platform_id = models.IntegerField('si.Platform', blank=True, null=True)
def __unicode__(self):
return self.sn
class Meta:
verbose_name = u'Order'
# TODO 2 注释掉原表中的 unique_together
# unique_together = (
# ('platform', 'request_id'),
# ('platform', 'outer_id'),
# )
# TODO 3 managed 设为 False
managed = False
# TODO 4 指定 db table
db_table = 'cardbox_applyvoucher'
先广后精。Explore the whole world,and then do one thing but do it best.