TransH中的Hinge Loss Function

Hinge Loss Function

Hinge Loss 函数一种目标函数，有时也叫max-margin objective。

在Trans系列中，有一个

\[\max(0,f(h,r,t) + \gamma - f(h',r,t')) \]

这样的目标函数，其中\(\gamma > 0\)。为了方便理解，先尝试对上式进行变形，令\(\Delta = f(h,r,t)-f(h',r,t')\) ，然后会有下式

\[\mathcal{L} = \max(0,\Delta + \gamma) \]

由于

\[f(h,r,t) = ||\hat{\mathbf{h}} + \hat{\mathbf{r}}-\hat{\mathbf{t}}||_2^2 \]

为了区分正例和负例，\(f(h,r,t)\)的值应该尽可能的小，\(f(h',r,t')\)的值应该尽可能的大。

---

我们先看\(\Delta > 0\)的情况，此时\(\max(0,\Delta + \gamma) = \Delta +\gamma > \gamma\)，此时的\(\mathcal{L}>\gamma\)。

再看看\(\Delta < 0\) 的情况，此时\(\max(0,\Delta + \gamma)\)的值需要比较\(|\Delta|\)和\(\gamma\)的大小

如果\(|\Delta| > \gamma\)，那么\(\mathcal{L} = 0\)

如果\(|\Delta| < \gamma\)，那么\(\mathcal{L}=\Delta + \gamma < \gamma\)

---

总之而言

\[\mathcal{L}=\begin{cases} \Delta + \gamma > \gamma & \mbox{if } \Delta > 0 \\ \begin{cases} 0 & \mbox{if }\Delta < 0 \mbox{ and } |\Delta| > \gamma\\ 0 < \Delta + \gamma < \gamma & \mbox{if } \Delta < 0 \mbox{ and } |\Delta| < \gamma \end{cases} \end{cases} \]

可以得出的结论是，为了\(\min(\mathcal{L})\)，\(\Delta < 0 \mbox{ and } |\Delta| > \gamma\) 是我们的最高理想。也就是说

\[f(h,r,t) - f(h',t,r') < -\gamma \]

训练算法的前进目标。