动手学深度学习框架（2）- python 端如何调用 c++ 的代码
0 前言
朋友们好，欢迎来到深度学习框架系列专题。在上一篇文章中，我抛出了一系列问题，算是本专题的序言了，今天我们将正式开启 paddle 学习之旅，去了解它的实现原理和技术细节。对于本文的选题，我想了许久，最后还是觉得讲讲『python 端如何调用 c++ 的代码』最为合适，阅读深度学习框架源码，不管是 pytorch 还是 tensorflow，这都是绕不开的，也是最基础的。试想：如果一个新手看着 python 端的一行行代码，却不知道它是在哪定义的，函数体里内容是什么，岂不是抓狂~
1 什么是 pybind？
pybind11 是一个轻量级的只包含头文件的 c++ 库，用于将你的 c++ 代码暴露给 python 调用（反之亦可，但主要还是前者）。pybind11 借鉴了 Boost::Python 库的设计，但使用了更为简洁的实现方式，使用了大量 c++11 的新特性，更易于使用。
2 paddle 中 python 端是如何调用 c++ 代码的？
关于 pybind 的原理，网上已经有不少文章已经介绍过了，不再赘述，这里主要讲下 paddle 框架中 python 和 c++ 端是如何绑定的。
示例 1
首先，我们来看一个最基础的，也是最常见的用法。Program 是 paddle 框架中用来描述神经网络的结构，如果要使用 paddle 分布式训练功能，首先得实例化一个 Program 对象。
import paddle.fluid as fluid
program=fluidgram()
很明显，Program 是 python 中的一个类，它的定义是在文件
python/paddle/fluid/framework.py 里，代码如下：
class Program(object)：
def __init__(self):
self.desc=coregramDesc()
...
由上述代码可知，实例化 Python Program 对象时，实际上调用的是 core 里的 ProgramDesc. 接着，我们先来看看
python/paddle/fluid/core.py 中干了啥：
from ctypes import cdll
cdll.LoadLibrary(core_avx.so)
什么意思呢？paddle c++ 代码编译完之后生成 core_avx.so 文件，而当我们安装完 paddle wheel 包之后，python/paddle/fluid 目录下就会有 core_avx.so. 也就是说，core.py 文件的主要功能就是加载 c++ 端的 so. 那 python 端的 ProgramDesc 类型又是在哪定义的呢？答案是protobuf.
void BindProgramDesc(pybind11::module *m) {
pybind11::class_(*m, "ProgramDesc", "")
.def(pybind11::init<>())
.def("__init__",
[](pd::ProgramDesc &self, const pd::ProgramDesc &other) {
new (&self) pd::ProgramDesc(other);
})
//...
到这儿，python 端终于能够访问到 c++ 端的类型了，即 pd::ProgramDesc，其中，namespace pd=paddle::framework.
示例 2
我们再来看看 executor.py 中的用法。
from . import core
g_scope=core.Scope()
assert isinstance(scope, core._Scope)
var =scope.find_var(_to_name_str(name))
这个 Scope() 又是什么呢？pybind 文件中有如下定义：
PYBIND11_MODULE(core_avx, m) {
m.def("Scope",
[]() -> Scope * {
auto *s=new Scope();
ScopePool::Instance().Insert(std::unique_ptr(s));
return s;
},
R"DOC(
Create a new scope.
Returns:
out (core._Scope): the created scope.
)DOC",
py::return_value_policy::reference);
//...
}
PYBIND11_MODULE 这个宏用来告诉 python： import 神马，"core_avx" 是这个 module 的名字，"m" 是一个 py::module 类型的变量，可以理解成代表 module 本身， "module::def()"，也就是 "m.def"，用来定义 python 端的接口函数。
上述代码中绑定了 python 端 Scope() 和 c++ 中的函数(lambda 表达式)。进一步发现，调用 python 函数的返回值显然是 python 端的，也就是 _Scope，而它对应的也就是 c++ 端的 Scope 类，绑定代码如下：
py::class_(m, "_Scope", R"DOC(
Scope is an association of a name to Variable. All variables belong to Scope.
Variables in a parent scope can be retrieved from local scope.
You need to specify a scope to run a Net, i.e., `exe.Run(&scope)`.
One net can run in different scopes and update different variable in the
scope.
You can create var in a scope and get it from the scope.
Examples:
.. code-block:: python
import paddle.fluid as fluid
# create tensor from a scope and set value to it.
param=scope.var('Param').get_tensor()
param_array=np.full((height, row_numel), 5.0).astype("float32")
param.set(param_array, place)
)DOC")
.def("_remove_from_pool",
[](Scope &self) { ScopePool::Instance().Remove(&self); })
.def("var",
[](Scope &self, const std::string &name) -> Variable * {
return self.Var(name);
},
py::arg("name"),
R"DOC(
Find or create variable named :code:`name` in the current scope.
If the variable named :code:`name` does not exist in the
current scope, the variable would be created. Otherwise,
return the existing variable.
Args:
name (str): the variable name.
Returns:
out (core.Variable): the found or created variable.
)DOC",
py::return_value_policy::reference)
//...
示例 3
再来看一个嵌套的例子：
ExecutionStrategy=core.ParallelExecutor.ExecutionStrategy
BuildStrategy=core.ParallelExecutor.BuildStrategy
if self._build_strategy is None:
self._build_strategy=BuildStrategy()
self._build_strategy.is_distribution=_is_pserver_mode(self._program)
上述代码中的 BuildStrategy 类型绑定的又是 c++ 端哪个函数呢？在 pybind 文件中有如下定义：
py::class_ pe(m, "ParallelExecutor");
py::class_ exec_strategy(pe, "ExecutionStrategy", R"DOC(
...
）
记住：paddle 框架代码中，core、core_avx 都是 python 的 module. 除了 pybind、protobuf 之外，paddle 中类似地还有 data_set_py 等文件中也定义了 python 与 c++ 的绑定关系。
另外要注意的是，paddle 中并不是每一个 python 类型、函数或变量都是调用 c++ 端的，paddle 框架中也有许多 python 代码，它们的作用要么调用后端 c++ 代码，要么封装一些 c++ 功能，或者用 python 实现部分功能，以便给用户提供简洁、便捷的 api.
