嵌入python的c++程序发布(二)最小化抽取需要的模块

时间:2022-12-24 21:39:49

    前面介绍了一种最笨的方式,他的缺点就是冗余太多,浪费空间太大。

    今天介绍一种优化方法,仅抽取程序中用到的部分。

    要下班了,先贴上实现代码,改天有空再补上原理。

#-*- coding:gbk -*-

import sys
import os
import shutil

#获得程序中所有模块的路径
def getModulesPath() :
lst = []
#sys.modules是一个字典,数据格式如下:
#{'site': <module 'site' from 'D:\Python27\lib\site.pyc'>,
for v in sys.modules.itervalues() :
s = str(v)
if "from" in s:
data = s.split("'")
lst.append(data[-2])
else :
print "module : ", s
return lst

#抽取文件
def extractFiles(destDir, files) :
destDir.replace("/", "\\")
if destDir[-1] != '\\' :
destDir += '\\'

for f in files :
dest = filiterPath(destDir, f)
copyF(dest, f)

#过滤路径 去掉最大绝对路径
def filiterPath(destDir, srcFile) :
dest = destDir
maxLen = 0
for path in sys.path :
lenp = len(path)
if lenp < len(srcFile) and path == srcFile[:lenp] :
if maxLen < lenp :
dest = destDir + srcFile[lenp+1:]
maxLen = lenp

dest.replace("/", "\\")
if '.' in dest : #去掉文件名
p = dest.rfind('\\')
if p >= 0 :
dest = dest[:p]
return dest

#拷贝文件
#如果目标路径不存在,则创建
def copyF(destDir, srcFile) :
if not os.path.isfile(srcFile) :
print "error : file %s not exist!" % srcFile
return False
if not os.path.isdir(destDir) :
os.mkdir(destDir)
print "make dir:", destDir
try :
shutil.copy2(srcFile, destDir)
print "copy file : %s to %s" % (srcFile, destDir)
except IOError:
print "error : copy %s to %s faild" % (srcFile, destDir)
return False
return True

def test() :
a = getModulesPath()
extractFiles("testpg\\", a) #抽取后的文件会放到testpg目录下


        注意,可在c++程序结束时,调用test()方法执行抽取,则程序用到的所有py都会被抽取出来(包括自己写的和系统的 ^o^ )。然后将抽取出来的py文件,压缩成python27.zip,和python27.dll一起放置到C++程序目录。


原理也很简单:

       sys.modules存贮了程序运行以来的所有模块,以及模块所在py文件的绝对路径,这也是程序运行时所依赖的所有模块。将这些文件的绝对路径去掉,打包成pythonXX.zip,放置到c++应用程序目录下,则程序可自动搜索到zip文件中的py文件。

        去掉绝对路径,要依据sys.path中python路径,去掉最大长度的路径。如:

sys.path = ['d:\\python27',  'd:\\python27\\lib',  'd:\\python27\\lib\\lib-tk', ...],某py文件的路径 是 d:\python27\lib\aaa\bbb\xxx.py,那么他的相对路径应该是aaa\bbb,而不是lib\aaa\bbb.

       打包后的目录组织截图:

嵌入python的c++程序发布(二)最小化抽取需要的模块


特别注意:

        这种方法只能抽取程序运行以来所import过的所有模块,对于一些条件触发的import可能会遗漏,比如,if语句中有import,当条件不满足的时候,模块并不会被import。虽然可以搜索所有代码,解析里面的import语句,但是对于使用__import__导入的模块,情况就比较复杂,无法解析。

        就我个人的观点,给大家几点建议:

        1.遍历所有自己写的模块执行import,确保所引用的外部模块全部被导入。

        2.写代码的时候,不要写局部的import语句(如,出现在if语句中,函数体中的import。当然,如果满足条件1,局部import自己的模块是可以的)。

        3.如果python库和第3方库,违反了第二条,那么我这种打包方式会彻底失效。对于这种情况,还有两个办法:

            a) 最安全的方法:把python库、第三方库,以及自定义库的所有模块,全部打包。(一下又回归到了原始社会)

            b) 有一定遗漏的方法:先遵循1、2执行常规打包,抽取出所有的py,然后检查这些抽取出来的py,有没有局部导入的情况存在,如果有,则单独处理这些模块。(检查程序可以这样写,判断所有import语句和__import__语句是否有缩进,——充分发挥了python的特点嵌入python的c++程序发布(二)最小化抽取需要的模块)然而,存在遗漏在于,有些库以pyc、pyd、内嵌等形式存在,其中存在局部import,会无法做检查。但是我觉得,这种情况的概率很小,good luck to you!