嵌入python的c++程序发布(二)最小化抽取需要的模块

    前面介绍了一种最笨的方式,他的缺点就是冗余太多,浪费空间太大。

    今天介绍一种优化方法,仅抽取程序中用到的部分。

    要下班了,先贴上实现代码,改天有空再补上原理。

#-*- coding:gbk -*-

import sys
import os
import shutil

#获得程序中所有模块的路径
def getModulesPath() :
	lst = []
	#sys.modules是一个字典,数据格式如下:
	#{'site': <module 'site' from 'D:\Python27\lib\site.pyc'>,
	for v in sys.modules.itervalues() :
		s = str(v)
		if "from" in s:
			data = s.split("'")
			lst.append(data[-2])
		else :
			print "module : ", s
	return lst
	
#抽取文件
def extractFiles(destDir, files) :
	destDir.replace("/", "\\")
	if destDir[-1] != '\\' :
		destDir += '\\'
		
	for f in files :
		dest = filiterPath(destDir, f)
		copyF(dest, f)
		
#过滤路径 去掉最大绝对路径
def filiterPath(destDir, srcFile) :
	dest = destDir
	maxLen = 0
	for path in sys.path :
		lenp = len(path)
		if lenp < len(srcFile) and path == srcFile[:lenp] :
			if maxLen < lenp :
				dest = destDir + srcFile[lenp+1:]
				maxLen = lenp
			
	dest.replace("/", "\\")
	if '.' in dest : #去掉文件名
		p = dest.rfind('\\')
		if p >= 0 :
			dest = dest[:p]
	return dest

#拷贝文件
#如果目标路径不存在,则创建
def copyF(destDir, srcFile) :
	if not os.path.isfile(srcFile) :
		print "error : file %s not exist!" % srcFile
		return False
	if not os.path.isdir(destDir) :
		os.mkdir(destDir)
		print "make dir:", destDir
	try :
		shutil.copy2(srcFile, destDir)
		print "copy file : %s to %s" % (srcFile, destDir)
	except IOError:
		print "error : copy %s to %s faild" % (srcFile, destDir)
		return False
	return True

def test() :
	a = getModulesPath()
	extractFiles("testpg\\", a) #抽取后的文件会放到testpg目录下


        注意,可在c++程序结束时,调用test()方法执行抽取,则程序用到的所有py都会被抽取出来(包括自己写的和系统的 ^o^ )。然后将抽取出来的py文件,压缩成python27.zip,和python27.dll一起放置到C++程序目录。


原理也很简单:

       sys.modules存贮了程序运行以来的所有模块,以及模块所在py文件的绝对路径,这也是程序运行时所依赖的所有模块。将这些文件的绝对路径去掉,打包成pythonXX.zip,放置到c++应用程序目录下,则程序可自动搜索到zip文件中的py文件。

        去掉绝对路径,要依据sys.path中python路径,去掉最大长度的路径。如:

sys.path = ['d:\\python27',  'd:\\python27\\lib',  'd:\\python27\\lib\\lib-tk', ...],某py文件的路径 是 d:\python27\lib\aaa\bbb\xxx.py,那么他的相对路径应该是aaa\bbb,而不是lib\aaa\bbb.

       打包后的目录组织截图:



特别注意:

        这种方法只能抽取程序运行以来所import过的所有模块,对于一些条件触发的import可能会遗漏,比如,if语句中有import,当条件不满足的时候,模块并不会被import。虽然可以搜索所有代码,解析里面的import语句,但是对于使用__import__导入的模块,情况就比较复杂,无法解析。

        就我个人的观点,给大家几点建议:

        1.遍历所有自己写的模块执行import,确保所引用的外部模块全部被导入。

        2.写代码的时候,不要写局部的import语句(如,出现在if语句中,函数体中的import。当然,如果满足条件1,局部import自己的模块是可以的)。

        3.如果python库和第3方库,违反了第二条,那么我这种打包方式会彻底失效。对于这种情况,还有两个办法:

            a) 最安全的方法:把python库、第三方库,以及自定义库的所有模块,全部打包。(一下又回归到了原始社会)

            b) 有一定遗漏的方法:先遵循1、2执行常规打包,抽取出所有的py,然后检查这些抽取出来的py,有没有局部导入的情况存在,如果有,则单独处理这些模块。(检查程序可以这样写,判断所有import语句和__import__语句是否有缩进,——充分发挥了python的特点大笑)然而,存在遗漏在于,有些库以pyc、pyd、内嵌等形式存在,其中存在局部import,会无法做检查。但是我觉得,这种情况的概率很小,good luck to you!


posted @ 2017-10-19 18:07  游蓝海2017  阅读(432)  评论(0编辑  收藏  举报