在FASTBuild中使用Distribution

上一篇:在FASTBuild中使用Caching

在FASTBuild中使用分布式(distribution)编译需要注意以下四个环节。

一、编译器设置

  某些编译过程与分布式相矛盾,如果一个对象不能被安全的分发出去,那它将自动在本地被编译,一个编译过程可以安全的混合可分发对象与不可分发对象。

  对于GCC/SNC/Clang编译器,没有任何限制。

  对于MSVC编译器:

    /ZW 选项不能使用

    预编译头文件不能被分发,他们是因机器而异的。(使用了PCH的对象可以被分发)

    /clr 选项不能使用,因为微软编译器的预处理器有bug。

 二、编译器同步

  FASTBuild会把编译器(Compiler)同步到远端机器的一个隔离的环境中,这避免了远端机器也需要安装工具链,并且能保证编译器的一致性。为了实现这些,FASTBuild需要知道通过网络要同步哪些文件。这需要通过Compiler函数来实现。下面以一个实测可用的编译器配置,以 VS 2015 amd 64位编译器为例:

.VSBasePath = 'C:\Program Files (x86)\Microsoft Visual Studio 14.0'

Compiler('MSVC2015') // (optional) Alias { .Executable = '$VSBasePath$\VC\bin\amd64\cl.exe' .ExtraFiles = { '$VSBasePath$\VC\bin\amd64\1033\clui.dll', '$VSBasePath$\VC\bin\amd64\c1.dll', '$VSBasePath$\VC\bin\amd64\c2.dll', '$VSBasePath$\VC\bin\amd64\c1xx.dll', '$VSBasePath$\VC\bin\amd64\mspdb140.dll', '$VSBasePath$\VC\bin\amd64\msobj140.dll', '$VSBasePath$\VC\bin\amd64\mspdbcore.dll', '$VSBasePath$\VC\bin\amd64\mspdbsrv.exe'} }

 三、工作者目录

  工作者(Worker)就是除了主机之外,通过网络参与到分布式编译过程中的其他机器,他们的职责就是在空闲的时候,提供若干个(可设置)CPU内核出来,供主机编译使用。工作者(Worker)需要通过一个商定的位置被找到,这个商定的位置是一个主机(host)和工作者(Worker)都能找到的网络路径。这个路径要通过环境变量 FASTBUILD_BROKERAGE_PATH 来设置。工作者通过在这个位置写一个标记来示意自己可用。客户机通过检查这个位置来寻找可用的工作者。这里的重点是这个FASTBUILD_BROKERAGE_PATH 指定的必须是一个共享网络路径,而且能被所有参与分布式编译的机器自由地读写

  下面是一个简单的启动FASTBuildWorker的bat脚本(start_fbuild_worker.bat),如果发现该进程已存在,则不做任何操作。正常模式启动,启动后在桌面右下角会有图标显示。

echo off & color 0A
rem 在这里设置的环境变量只在bat脚本内有效
set FASTBUILD_BROKERAGE_PATH=\\192.168.22.31\.fastbuild.brokerage tasklist | find /i "FBuildWorker.exe.copy" || start /min "" FBuildWorker.exe -cpus=2 -mode=idle

  下面是一个简单的启动FASTBuildWorker的vbs脚本(start_fbuild_worker.vbs),如果发现该进程已存在,则不做任何操作。控制台模式启动(-console),并且隐藏了窗口,启动后只在任务管理器中才能被看到。具体用途自己体会。(在实际应用中发现,这个脚本第一次运行不会生效,大概是刚刚设置的环境变量在脚本中没有生效,不过Worker进程关闭之后,再次运行就会生效了)

set bag=getobject("winmgmts:\\.\root\cimv2")
set pipe=bag.execquery("select * from win32_process where name='FBuildWorker.exe'")
For Each id In pipe
    wscript.quit
Next
wscript.CreateObject("Wscript.Shell").Environment("user").Item("FASTBUILD_BROKERAGE_PATH")="\\192.168.22.31\.fastbuild.brokerage" 
wscript.CreateObject("Wscript.Shell").Run "FBuildWorker.exe -cpus=2 -mode=idle -console",0

 

  Worker启动后,会在刚才设置的那个网络路径中写一个标记,表示自己随时可以被调用,如下图:

  

  大家不要担心这个Worker进程会占用太多资源,当你的CPU处于繁忙的状态,他会自动地把自己的标记取消,使自己不可被调用。换句话说,Worker(s)只会在自己有余力的时候才会帮助他人工作。

  四、激活分布式编译

  在上述步骤都顺利完成之后,便可以开始分布式编译了。执行fbuild.exe的时候,只需要加上 -dist 或者 -distverbose 参数,就可以调用远端的Worker为自己工作。

   下面是一个简单的启动fbuild的bat脚本

echo off & color 0A
rem 在这里设置额环境变量只在bat脚本内有效
set FASTBUILD_BROKERAGE_PATH=\\192.168.22.31\.fastbuild.brokerage
call start_fbuild_worker.bat fbuild.exe -cache -distverbose pause

  这里调用了start_fbuild_worker.bat脚本,其实使用分布式编译不一定非要在本机打开Worker进程,但是本着互惠互利的原则,在使用别人的CPU核心的时候,最好自己也开启Worker进程。

 

  以上便是我学习使用FASTBuild的总结,不可否认FASTBuild作为一个免费开源的分布式编译工具,性能相当出色,之前我们的C++项目使用VS完全编译一次需要花费40min,在使用了FASTBuild之后,开启Caching和Distribution,可以在5min内完全编译一次,效率提升了近90%。感谢FASTBuild的开发人员,让我和同事们在工作的时候心情舒畅了很多。

上一篇:在FASTBuild中使用Caching

 

 

 

posted @ 2018-03-26 20:49  你好阿汤哥  Views(3691)  Comments(18Edit  收藏  举报