【python】通达信自定义数据管理器的简单应用

1.在《通达信-功能-公式系统-自定义数据管理器》中可以手工添加数据，并导出为txt文本，但手工只能添加几个，多了就费劲了。

2.在任意行情列表页上，执行《系统-数据导出》可以将几千条数据导出为txt文本,

于是决定用第2步数据来更新第1步的数据，代码如下：

#encoding=utf-8
import re
 
# read file
dic={}
pattern="([0-9]{6})\s+([\u4e00-\u9fa5]+)\s+(-?[0-9]+\.[0-9]*|-?[0-9]+)\s+(-?[0-9]+\.[0-9]*|-?[0-9]+)\s+(-?[0-9]+\.[0-9]*|-?[0-9]+)\s+(-?[0-9]+\.[0-9]*|-?[0-9]+)\s+(-?[0-9]+\.[0-9]*|-?[0-9]+)\s+(-?[0-9]+\.[0-9]*|-?[0-9]+)"
with open(r'D:\new_hrzq_v6\T0002\export\沪深Ａ股.txt') as infile:
    for line in infile:
        list=re.findall(pattern,line)
        if len(list)>0:
            code=list[0][0]
            name=list[0][7]
            dic[code]=name
 
# concat lines
sn=0
lines=""
for code,name in dic.items():    
    if str(code)[0]=="6":
        sn=1
    else:
        sn=0
    line=str(sn)+"|"+code+"|"+name+"|"+str("0.000")+"\n"
    lines=lines+line
 
# write file
with open(r'D:\new_hrzq_v6\外部数据(字符串,数值)_1.txt','w') as outfile:
    outfile.write(lines)
print("ok")

　　3.导出的自定义数据怎么用呢？答：在《行情报价的标题栏上点鼠标右键-选择自定义数据》，就可将相应的“自定义数据”显示在行情报价列表中了。

上述代码在使用过程中发现有bug,原因是有的股票名称中有空格，还有*ST 、A 、TCL、GYQ、N、-U、-UW、-WD等文字，代码中的正则表达式不能正确匹配，需要改一下正则表达式。

后来用pandas重写，在读xls时遇到编码问题，用read_csv read_html openpyxl xlrd ,加上参数cp936 gb18030 utf-8-sig utf16LE等等统统不好使。

原因似乎是由于程序生成的xls实际是csv,且格式不规则，但是用wps显示正常?搞不明白具体原因！

最终采取逐行读文件解析，倒是简单：

#encoding=utf-8
 
import pandas as pd
from io import StringIO
 
path1 = r"沪深Ａ股.xls"
path2 = r"外部数据(字符串,数值)_1.txt"
 
listdf = []
f= open(path1, 'r')
next(f)
next(f)
for line in f:
    linearr = line.strip().split('\t')   
    if(len(linearr))>7:
       listrow = [linearr[0].strip("=").strip("\""),linearr[7]]
    listdf.append(listrow) 
f.close()
df=pd.DataFrame(data=listdf,columns=['1','2'])
df.insert(loc=0, column='0', value="0") 
df['0']=df['1'].apply(lambda x:1 if x[0]=="6" else 0)
df.insert(loc=3, column='3', value="0.000") 
print(df.shape)
print(df.iloc[0:3])
df.to_csv(path2,sep='|',header=0,index=0) 

生成两个文件的版本

#encoding=utf-8
 
import pandas as pd
from io import StringIO
 
path1 = r"沪深Ａ股.xls"
path2 = r"外部数据(字符串,数值)_1.txt"
path3 = r"外部数据(字符串,数值)_2.txt"
 
#需要第几列，从0开始数
mycolA = 8
mycolB = 9
listdf = []
f= open(path1, 'r')
next(f)
next(f)
for line in f:
    linearr = line.strip().split('\t')   
    if(len(linearr))>mycolB:
        #保留代码列、相应参数列
        listrow = [linearr[0].strip("=").strip("\""),linearr[mycolA],linearr[mycolB]]
        listdf.append(listrow) 
f.close()
df=pd.DataFrame(data=listdf,columns=['1','2','3'])
df.insert(loc=0, column='0', value="0")
df.insert(loc=0, column='4', value="0.000") 
df['0']=df['1'].apply(lambda x:1 if x[0]=="6" else 0)
#选子集
df2=df[["0","1","2","4"]]
df3=df[["0","1","3","4"]]
#print(df.shape)
#print(df.iloc[0:3])
#增加分隔符并保存
df2.to_csv(path2,sep='|',header=0,index=0)
df3.to_csv(path3,sep='|',header=0,index=0)
print("ok")