嵌入python的c++程序发布(二)最小化抽取需要的模块
前面介绍了一种最笨的方式,他的缺点就是冗余太多,浪费空间太大。
今天介绍一种优化方法,仅抽取程序中用到的部分。
要下班了,先贴上实现代码,改天有空再补上原理。
#-*- coding:gbk -*- import sys import os import shutil #获得程序中所有模块的路径 def getModulesPath() : lst = [] #sys.modules是一个字典,数据格式如下: #{'site': <module 'site' from 'D:\Python27\lib\site.pyc'>, for v in sys.modules.itervalues() : s = str(v) if "from" in s: data = s.split("'") lst.append(data[-2]) else : print "module : ", s return lst #抽取文件 def extractFiles(destDir, files) : destDir.replace("/", "\\") if destDir[-1] != '\\' : destDir += '\\' for f in files : dest = filiterPath(destDir, f) copyF(dest, f) #过滤路径 去掉最大绝对路径 def filiterPath(destDir, srcFile) : dest = destDir maxLen = 0 for path in sys.path : lenp = len(path) if lenp < len(srcFile) and path == srcFile[:lenp] : if maxLen < lenp : dest = destDir + srcFile[lenp+1:] maxLen = lenp dest.replace("/", "\\") if '.' in dest : #去掉文件名 p = dest.rfind('\\') if p >= 0 : dest = dest[:p] return dest #拷贝文件 #如果目标路径不存在,则创建 def copyF(destDir, srcFile) : if not os.path.isfile(srcFile) : print "error : file %s not exist!" % srcFile return False if not os.path.isdir(destDir) : os.mkdir(destDir) print "make dir:", destDir try : shutil.copy2(srcFile, destDir) print "copy file : %s to %s" % (srcFile, destDir) except IOError: print "error : copy %s to %s faild" % (srcFile, destDir) return False return True def test() : a = getModulesPath() extractFiles("testpg\\", a) #抽取后的文件会放到testpg目录下
注意,可在c++程序结束时,调用test()方法执行抽取,则程序用到的所有py都会被抽取出来(包括自己写的和系统的 ^o^ )。然后将抽取出来的py文件,压缩成python27.zip,和python27.dll一起放置到C++程序目录。
原理也很简单:
sys.modules存贮了程序运行以来的所有模块,以及模块所在py文件的绝对路径,这也是程序运行时所依赖的所有模块。将这些文件的绝对路径去掉,打包成pythonXX.zip,放置到c++应用程序目录下,则程序可自动搜索到zip文件中的py文件。
去掉绝对路径,要依据sys.path中python路径,去掉最大长度的路径。如:
sys.path = ['d:\\python27', 'd:\\python27\\lib', 'd:\\python27\\lib\\lib-tk', ...],某py文件的路径 是 d:\python27\lib\aaa\bbb\xxx.py,那么他的相对路径应该是aaa\bbb,而不是lib\aaa\bbb.
打包后的目录组织截图:
特别注意:
这种方法只能抽取程序运行以来所import过的所有模块,对于一些条件触发的import可能会遗漏,比如,if语句中有import,当条件不满足的时候,模块并不会被import。虽然可以搜索所有代码,解析里面的import语句,但是对于使用__import__导入的模块,情况就比较复杂,无法解析。
就我个人的观点,给大家几点建议:
1.遍历所有自己写的模块执行import,确保所引用的外部模块全部被导入。
2.写代码的时候,不要写局部的import语句(如,出现在if语句中,函数体中的import。当然,如果满足条件1,局部import自己的模块是可以的)。
3.如果python库和第3方库,违反了第二条,那么我这种打包方式会彻底失效。对于这种情况,还有两个办法:
a) 最安全的方法:把python库、第三方库,以及自定义库的所有模块,全部打包。(一下又回归到了原始社会)
b) 有一定遗漏的方法:先遵循1、2执行常规打包,抽取出所有的py,然后检查这些抽取出来的py,有没有局部导入的情况存在,如果有,则单独处理这些模块。(检查程序可以这样写,判断所有import语句和__import__语句是否有缩进,——充分发挥了python的特点)然而,存在遗漏在于,有些库以pyc、pyd、内嵌等形式存在,其中存在局部import,会无法做检查。但是我觉得,这种情况的概率很小,good luck to you!