Matlab的mat格式数据转化至python数据格式
2019-05-27 16:46 冻雨冷雾 阅读(5930) 评论(0) 编辑 收藏 举报因工作原因,一些获取的行业数据以已知的结构体存储在.mat文件中,
现需要将其存储在数据库中并且能够灵活调用至python dataframe里进行操作
原数据的一个例子如下
目标如上:
然后是转化代码:
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
import scipy.io data = scipy.io.loadmat(r'C:\Users\wenzhe.tian\Desktop\PTSimA\Doing\MC.mat') import pandas as pd data.pop('__header__') data.pop('__version__') data.pop('__globals__') vehicle_name=data.keys() vehicle_name=list(vehicle_name) for i in vehicle_name: df = pd.DataFrame(data[i][0]) try: df=df.astype(float) except: for j in list(df): try: df[j]=df[j].astype(float) except: continue # df[j]=df[j].astype(str) if i==vehicle_name[0]: df1=df; else: df1=pd.concat([df,df1],axis=0) df1['MC_name']=vehicle_name df1['Tips']=df1['Tips'].map(str)+df1['tips'].map(str) df1['Tips']=df1['Tips'].str.replace('nan','') df1=df1.drop(['tips'],axis=1) df1=df1.reset_index(); import numpy as np # ndarray需转化为 字符 list_transfer=['Speed','Torque','eff','eff_current'] for i in list_transfer: for j in range(len(df1)): try: df1[i][j]=df1[i][j].tostring(); except: continue;
结果如下(df1):
然后用to_sql的方式将该dataframe 保存至本地sql数据库即可
一个难点是遇到struct结构体中包含mat的矩阵格式时,如下图:
所有参数为一个struct,但是data与acc作为结构体的一个单位,其数据是一个矩阵而非单个数值。因此需要继续处理:
data = scipy.io.loadmat(r'C:\Users\ext.wenzhe.tian\Desktop\PTSimA\Doing\CYCLE.mat', mat_dtype=True,struct_as_record=True)#variable_names='CATC' data.pop('__header__') data.pop('__version__') data.pop('__globals__') name=data.keys() name=list(name) ans_name={} for i in name: df = pd.DataFrame(data[i][0]) try: df=df.astype(float) except: for j in list(df): try: df[j]=df[j].astype(float) df[j]=df[j].apply(lambda x:x[0][0]) except: continue if i==name[0]: df1=df; else: df1=pd.concat([df,df1],axis=0) ans_name[i]=pd.DataFrame(columns=['time[s]','veh_spd[km/h]','acc[m/s]'], data={'time[s]':list(data[i][0,0]['data'][:,0]), 'veh_spd[km/h]':list(data[i][0,0]['data'][:,1]), 'acc[m/s]':list(data[i][0,0]['acc'][:,1])})
ans_name即针对其中的矩阵单独定义一个dataframe,再从导入的data数据中提取写入。结果除以上的dataframe外,还有另一个dataframe:
——————————————活在当下,首先就是要做好当下的事.