最近遇到过几次需要分析客户发来的业务数据的工作。
客户是用Excel发来的，分析之前需要把Excel里的数据导入到数据库中，后续会再利用程序对数据做分析。
现在主要讲一下如何把Excel数据导入到数据库中。
在导入前，先看看这个Excel数据的格式，发现会有以下几个现象：
1）第一行的标题，中英文都有，命名比较杂，甚至名称前后还有空格。直接拿用肯定不行，需要在导数据的时候，做一下数据的清洗整理格式转换等。
2）下面的数据行中，个别列中的数据，也存在冗余的空白字符，还有些日期时间后面会多出不需要的数字，还有些列数据需要根据转换规则转换一下才能用。
反正就是客户给的数据，不好直接拿就用，需要做数据清洗整理转换。
以往用的过的方法是：
1）在excel中，通过公式，去做清理。但是发现如果excel文件多了，也不方便，要每个文件里都要写一次公式，不想写，懒……
2）通过平时工作中主要使用的C#去写小程序，去处理，第一次感觉还不错，后来发现有点小题大作了。后面反正就是不想写程序了，发现手上写的各种小程序，越来越多，用的频率很低，有些只用过一次。
3）使用现成的工具，直接把excel数据导入数据库中，再在数据库，用sql去做数据清洗。这个方法用过一次，感觉也不错，和第二种写小程序差不多。
这次，我想试试Python，10年前就接触了，可是一直没有正儿八经用过他。
最近老是看到广告，说用Python处理excel多么多么的牛X。
这次心动了一下，硬着头皮，开始写代码，百度了10几个页面，各种参考学习，最终写出了下面的代码。
可以根据传入的excel文件名，去对excel文件里的数据，进行简单的解析，数据处理，把处理完的新数据另存为一份新的excel文件。
用起来还不错，还有许多改进的空间，比较我能想到的有，可以自动遍历当前目录下面的excel文件，不要每次都要传excel文件名作为参数。
以后有机会再说吧。年纪大了，容易累，容易忘记事，记录一下，防止下次需要用到。
import sys
import os
import xlrd #读excel
import xlwt #写excel
print(sys.argv)
if(len(sys.argv) < 2):
print('请提供原始excel文件名')
exit(0)
arg = sys.argv[1]
filename, suffix = os.path.splitext(arg) #分离文件名和后缀
print(filename, suffix)
# exit(0)
#判断变量类型的函数
def typeof(variate):
type=None
if isinstance(variate,int):
type = "int"
elif isinstance(variate,str):
type = "str"
elif isinstance(variate,float):
type = "float"
elif isinstance(variate,list):
type = "list"
elif isinstance(variate,tuple):
type = "tuple"
elif isinstance(variate,dict):
type = "dict"
elif isinstance(variate,set):
type = "set"
return type
# 返回变量类型
#打开文件
book = xlrd.open_workbook(filename + suffix)
book2 = xlwt.Workbook()
#获取所有sheet的名字
# print('sheet页名称：', book.sheet_names())
sheet1 = book.sheet_by_index(0)
sheet2 = book2.add_sheet('Sheet1')
rows = sheet1.nrows
cols = sheet1.ncols
print('sheet1有%d行，%d列'%(rows, cols))
# print('第三行内容：', sheet1.row_values(2))
# print('第二列内容为%s, 数据类型为%s'%(sheet1.col_values(1), type(sheet1.col_values(1))))
# 复制第一行标题
for i in range(cols):
val = sheet1.cell_value(0,i)
val = val.strip()
# print(val)
sheet2.write(0, i, val)
# 尝试解析第一行数据
for i in range(cols):
for j in range(rows-1):
val = sheet1.col(i)[j+1].value
# print(val, type(val))
print('.', end='')
if typeof(val) == 'str':
val = val.strip() # 移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。
# 处理处方号
if(i == 3):
val = val.replace('-','').replace('_','')
val = int(val)
val = str(val)
# 处理时间后面的小尾巴
if(i == 4 or i == 7 or i == 11 or i == 12 or i == 15):
val = val.replace('.0','')
sheet2.write(j+1, i, val)
# save new exlcel file
book2.save(filename + '_cleaned' + suffix)
print('excel file saved!')
# 新建excel并保存数据
# book2 = xlwt.Workbook()
# sheet2 = book2.add_sheet('Sheet1')
# sheet2.write(0, 0, 'hello')
# sheet2.write(1, 0, '你好')
# book2.save('hello.xls')
# print('excel file saved!')
补充：其实刚开始不想使用Python，因为之前没有用过，比较陌生。
后来在内心世界里做了一会儿思想斗争——以往确实没有用过什么好的处理excel数据的方法啊，至少感觉还是挺费时间的，这次何不试一试Python。
慢慢的，发现，越用越感觉不错。感觉可以提升效率，而且这个代码，后续再遇到什么新的需求，也可以改一改，就可以复用了。
或者后续，我再继续边做新需求，边优化。（发现代码优化这种想法，经常有，但是很少做，一般都是实在看不下去了，再去做）。
