写算子单元测试Writing Unit Tests!
写算子单元测试Writing Unit Tests!
一些单元测试示例，可在tests/python/relay/test_op_level3.py中找到，用于累积总和与乘积算子。
梯度算子
梯度算子对于编写Relay中的可微程序非常重要。虽然Relay的autodiff算法可区分一流的语言结构，但算子是不透明的。Relay无法查看实现，必须提供明确的差异化规则。
Python和C++都可编写梯度算子，但是，示例集中在Python上，更常用。
在Python中添加梯度
Python梯度算子的集合可在Python/tvm/relay/op/_tensor_grad.py中找到。将介绍两个具有代表性的示例：sigmoid和multiply。
@register_gradient("sigmoid")
def sigmoid_grad(orig，grad):
"""Returns [grad * sigmoid(x) * (1 - sigmoid(x))]."""
return [grad * orig * (ones_like(orig) - orig)]
这里的输入是原始算子orig和要累加的梯度。返回的是一个列表，第i个索引处的元素是算子相对于算子第i个输入的导数。通常，梯度将返回一个列表，包含的元素数量与基本算子的输入数量相同。
进一步分析这个定义前面，首先回顾一下sigmoid函数的导数：
上面的定义类似于数学定义，但有一个重要的补充，将在下面描述。
术语orig*（类似于（orig）-orig）直接匹配导数，这里的orig是sigmoid函数，但不只是对如何计算这个函数的梯度感兴趣。将这个梯度与其它梯度组合起来，这样就可在整个程序中累积梯度。
这就是梯度术语的意义所在。在表达式grad*orig*（one_like（orig）-orig）中，乘以grad，表示如何使用到目前为止的梯度合成导数。
现在，考虑乘法，一个稍微有趣的示例：
@register_gradient("multiply")
def multiply_grad(orig，grad):
"""Returns [grad * y，grad * x]"""
x，y=orig.args
return [collapse_sum_like(grad * y，x)，
collapse_sum_like(grad * x，y)]
在本例中，返回的列表中有两个元素，multiply是一个二进制算子。回想一下，如果
，偏导数是
有一个乘法所需的步骤，对于sigmoid不是必需的，乘法具有广播语义。梯度的shape可能与输入的shape不匹配，使用collapse_sum_like来获取梯度grad * <var>项的内容，使shape与要区分的输入的shape匹配。
Adding a Gradient in C++
在C++中添加一个梯度，类似于在Python中添加，但是，用于注册的接口略有不同。
首先，确保包含src/relay/transforms/pattern_utils.h。提供了用于在RelayAST中创建节点的 helper函数。然后，类似于Python示例的方式，定义梯度：
tvm::Array<Expr> MultiplyGrad(const Expr& orig_call，const Expr& output_grad) {
const Call& call=orig_call.Downcast<Call>();
return { CollapseSumLike(Multiply(output_grad，call.args[1])，call.args[0])，
CollapseSumLike(Multiply(output_grad，call.args[0])，call.args[1]) };
}
在C++中，不能使用Python中的算子重载，需要进行downcast，实现更加冗长。即使如此，可容易地验证这个定义，是否反映了Python中的早期示例。
现在，不需要使用Python装饰器，需要在基础算子的注册末尾，添加一个对“FPrimalGradient”的set_attr调用，注册梯度。
RELAY_REGISTER_OP("multiply")
// ...
// Set other attributes
// ...
.set_attr<FPrimalGradient>("FPrimalGradient"，MultiplyGrad);
参考链接：
https://tvm.apache.org/docs/dev/relay_add_op.html
TVM源码研习 — TVM中的IR设计与技术实现
