Python 一键拉取Git分支源码自动解析并执行SQL语句

基于Python实现自动拉取Git分支源码自动解析并执行SQL语句

by:授客 QQ：1033553122

1．代码用途

开发过程中，研发人员会提交SQL更新脚本到Git源码库，然后测试负责去拉取这些SQL脚本，并手动在测试环境或其它环境的数据库中执行这些脚本，很麻烦，本代码的用途就是为了替代手工执行的操作

2．测试环境

Win7 64位

Python 3.3.2

git-credential-winstore.exe

下载地址：

https://pan.baidu.com/s/1hsehGjU

mysql-connector-python-2.1.4-py3.3-winx64.msi

下载地址：http://pan.baidu.com/s/1cDtP1O

官方下载地址：http://dev.mysql.com/downloads/connector/python/

Git-2.13.1.2-64-bit.exe

TortoiseGit-1.8.14.0-64bit.msi

atlassian-bitbucket-5.1.1-x64.exe

3．设计思路

大致思路如下：

->> 1-1 如果是首次运行程序，创建基线文件和基线变量，递归遍历本地目标目录下的SQL文件,然后根据待执行SQL文件所属数据库(例中为ddtm|ddtmk)和操作类型(例中为更新|回滚)，分别记录到不同的基线文件，同时也记录到对应的基线变量中

->> 1-2 如果非首次运行程序，从基线文件读取已执行过的文件到对应的基线变量

->> 2 切换到本地目标分支

->> 3 PULL Git远程分支merge到本地目标分支

->> 4 递归遍历本地目标目录下的SQL文件,然后根据待执行SQL文件所属数据库和操作类型，分别记录到不同非基线变量

->> 5 对比基线变量和非基线变量，过滤得出待执行的SQL脚本文件，根据所属数据库和操作类型，分别存入不同变量

->> 6 按操作顺序执行这些变量中的SQL脚本（先执行更新，再执行回滚，再执行更新）

6.1 针对每个变量，排序好SQL文件(例中为按文件名)，接着按排序后的顺序，解析每个SQL文件

6.1.1 针对每个SQL文件，先解析得到单个文件中所有待执行SQL语句，并按文件中SQL语句编写顺序存储，然后执行每条SQL语句，根据执行结果分别记录结果到不同的文件

6.1.2 等待单个SQL文件中的SQL都执行完成，更新该文件信息至对应的基线文件

4．使用方法

1) 安装好相关软件，特别是git-credential-winstore.exe

安装好该软件后，手动执行一次Git PULL操作，目的在于存储凭据，以便后续执行Git相关操作时，免输入密码操作

2）配置程序用数据库

编辑配置文件conf/dbconfig.conf

[DDTM]

host = 192.168.1.100

port = 3306

user = testacc

passwd = test1234

db = ddtm

charset = utf8

[DDTMK]

host = 192.168.1.100

port = 3306

user = testacc

passwd = test1234

db = ddtmk

charset = utf8

3）配置需要遍历的目标目录(SQL文件所在目录)

编辑配置文件conf/dirpath_init.conf

[INITCONF]

dir_path = E:\Git\ddt-core-ws\ddt-db\db\V6.8

4）git初始化配置

编辑配置文件conf/git_init.conf

[INITCONF]

git_remote_hostname = origin

remote_branchs_to_pull = ['master']

local_branch = master

path_to_local_branch = E:/Git/ddt-core-ws

说明：

git_remote_hostname: 远程主机名称

remote_branchs_to_pull: 需要拉取的远程分支，格式为列表形式，形如['master', 'feature/V1.1']

local_branch：需要切到至的本地目标分支，要求必须已在本地经创建该分支

path_to_local_branch：本地分支源码所在路径，依葫芦画瓢，注意用 /分隔

5）执行程序

推荐写成批处理，然后用windows定时任务跑，如下

cd /d D:\auto_exec_sql

python main.py

start D:\auto_exec_sql\filerecord\file_for_failure.txt

说明：

start D:\auto_exec_sql\filerecord\file_for_failure.txt

该命令用于执行完毕后自动打开存放执行SQL失败的文件，方便查看

每条sql语句执行结果包含以下几个方面

执行的sql

执行时间

所在的文件(全路径)

操作的数据库

执行失败的原因

注意：

<1> 每次允许程序，执行成功、失败的记录都会分别追加到file_for_failure.txt，file_for_success.txt，为了方便查看执行结果，建议适时清空file_for_failure.txt内容。（为何不以’w’方式打开呢？如果是定时任务跑，中途某次运行结果忘记查看了，那岂不是会因为覆盖，无法查询那次的执行结果？）