用Python解析dolphinscheduler的json并存入到mysql

第一步 连接dolphinscheduler数据库

SELECT * FROM dolphinscheduler2.t_ds_process_definition
WHERE project_id=150005;
把process_definition_json值的内容复制出来，保存成json文件。

第二步 导入Json文件

import json
import pandas as pd
file = open('D:\Wor\DB_ERP.json','rb')
json = json.load(file);
tasksdata = json['tasks']
print(tasksdata)

第三步 连接数据库

from sqlalchemy import create_engine
-- 我自己是把解析结果放到本机数据库了，xxxx是root的密码，ds是数据库名
engine = create_engine('mysql+pymysql://root:xxxx@localhost:3306/ds')

第四步 解析需要的列存成DataFrame

代码贴上去后，格式错乱，就不贴了。
大概步骤就是，声明list，for循环取json的值，然后list.append，最后赋值到df。
肯定有更简单的写法，但当前时间比较紧张，只考虑结果。如果有更好的，请共享，谢谢~

第五步 保存成表

将DataFrame储存为MySQL中的数据表，不储存index列。
只有下面这一句脚本，结束~
df.to_sql('dp_task', engine, if_exists='append',index= True)
最后再去数据库刷新下表即可。