势函数法

势函数主要用于确定分类面，其思想来源于物理。

 

1 势函数法基本思想

• 假设要划分属于两种类别$\omega_1$和$\omega_2$的模式样本，这些样本可看成是分布在$n$维模式空间中的点$x_k$。
• 把属于$\omega_1$的点比拟为某种能源点，在点上，电位达到峰值。
• 随着与该点距离的增大，电位分布迅速减小，即把样本$x_k$附近空间$x$点上的电位分布，看成是一个势函数$K(x, x_k)$。
• 对于属于$\omega_1$的样本集群，其附近空间会形成一个"高地"，这些样本点所处的位置就是"山头"。
• 同理，用电位的几何分布来看待属于$\omega_2$的模式样本，在其附近空间就形成"凹地"。
• 只要在两类电位分布之间选择合适的等高线，就可以认为是模式分类的判别函数。

 

2. 判别函数的产生

• 模式分类的判别函数可由分布在模式空间中的许多样本向量$\{x_k,k=1,2,\cdots \text{且},x_k\in \omega_1\cup w_2\}$的势函数产生。
• 任意一个样本所产生的势函数以$K(x,x_k)$表征，则判别函数$d(x)$可由势函数序列$K(x, x_1),K(x,x_2),\cdots$来构成，序列中的这些势函数相应于在训练过程中输入机器的训练模式样本$x_1,x_2,\cdots$。
• 在训练状态，模式样本逐个输入分类器，分类器就连续计算相应的势函数，在第$k$步迭代时的积累位势决定于在该步前所有的单独势函数的累加。
• 以$K(x)$表示积累位势函数，若加入的训练样本$x_{k+1}$是错误分类，则积累函数需要修改，若是正确分类，则不变。

 

3.判别函数产生逐步分析

    设初始势函数$K_0(x) = 0$

    第一步：加入第一个训练样本$x_1$，

则有  

\[{K_1}(x) = \left\{ {\begin{array}{*{20}{c}}
{K(x,{x_1})}&{{\rm{if}}\;{x_1} \in {\omega _1}}\\
{ - K(x,{x_1})}&{{\rm{if}}\;{x_1} \in {\omega _2}}
\end{array}} \right.\]

这里第一步积累势函数$K_1(x)$描述了加入第一个样本时的边界划分。当样本属于$\omega_1$时，势函数为正；当样本属于$\omega_2$时，势函数为负。

      第二步：加入第二个训练样本$x_2$，

则有

1. 若$x_2\in \omega_1$且$K_1(x_2)>0$，或$x_2\in \omega_2$且$K_1(x_2)<0$，则分类正确，此时$K_2(x) = K_1(x)$，即积累势函数不变。
2. 若$x_2\in \omega_1$且$K_1(x——2)<0$，则\[K_2(x)=K_1(x)+K(x,x_2)=\pm K(x,x_1)+K(x,x_2)\]
3. 若$x_2\in \omega_2$且$K_1(x_2)>0$，则

\[K_2(x)=K_1(x)-K(x,x_2)=\pm K(x,x_1)-K(x,x_2)\]

     以上（ii）、（iii）两种情况属于错分。假如$x_2$处于$K_1(x)$定义的边界的错误一侧，则当$x\in \omega_1$时，积累位势$K_2(x)$要加$K(x, x_2)$，当$x\in \omega_2$时，积累位势$K_2(x)$要减$K(x, x_2)$。

      第$K$步：设$K_k(x)$为加入训练样本$x_1,x_2,\cdots,x_k$后的积累位势，则加入第$(k+1)$个样本时，$K_{k+1}(x)$决定如下：

1. 若$x_{k+1}\in \omega_1$且$K_k(x_{k+1})>0$，或$x_{k+1}\in \omega_2 $且$K_k(x_{k+1})<0$，则分类正确，此时$K_{k+1}(x) = K_k(x)$，即积累位势不变。

2. 若$x_{k+1}\in \omega_1$且$K_k(x_{k+1})<0$，则$K_{k+1}(x)=K_k(x)+K(x,x_{k+1})$;

3. 若$x_{k+1}\in \omega_2$且$K_k(x_{k+1})>0$，则$K_{k+1}(x)=K_k(x)-K(x,x_{k+1})$.

     因此，积累位势的迭代运算可写成：$K_{k+1}(x)=K_k(x)+r_{k+1}K(x,x_{k+1})$，$r_{k+1}$为校正系数：     

\[{r_{k + 1}} = \left\{ {\begin{array}{*{20}{c}}
0&{if\;{x_{k + 1}} \in {\omega _1}\;{\rm{and}}\;{K_k}({x_{k + 1}}) > 0}\\
0&{if\;{x_{k + 1}} \in {\omega _2}\;{\rm{and}}\;{K_k}({x_{k + 1}}) < 0}\\
1&{if\;{x_{k + 1}} \in {\omega _1}\;{\rm{and}}\;{K_k}({x_{k + 1}}) < 0}\\
{ - 1}&{if\;{x_{k + 1}} \in {\omega _2}\;{\rm{and}}\;{K_k}({x_{k + 1}}) > 0}
\end{array}} \right.\]

      若从给定的训练样本集${x_1, x_2, \cdots, x_k, \cdots}$中去除不使积累位势发生变化的样本，即使$K_j(x_{j+1})>0$且$x_{j+1}\in \omega_1$，或$K_j(x_{j+1})<0$且$x_{j+1}\in \omega_2$的那些样本，则可得一简化的样本序列$\{ {\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}} \over x} _1},{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}} \over x} _2}, \ldots ,{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}} \over x} _j}, \ldots \} $，它们完全是校正错误的样本。此时，上述迭代公式可归纳为：

\[{K_{k + 1}}(x) = \sum\limits_{{{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}}
\over x} }_j}} {{a_j}K(x,{{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}}
\over x} }_j})} \]

其中         

\[{a_j} = \left\{ {\begin{array}{*{20}{c}}
{ + 1}&{for\;{{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}}
\over x} }_j} \in {\omega _1}}\\
{ - 1}&{for\;{{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}}
\over x} }_j} \in {\omega _2}}
\end{array}} \right.\]

也就是说，由$k+1$个训练样本产生的积累位势，等于$\omega_1$类和$\omega_2$类两者中的校正错误样本的总位势之差。

 

      从势函数可以看出，积累位势起着判别函数的作用：当$x_{k+1}$属于$\omega_1$时，$K_k(x_{k+1})>0$；当$x_{k+1}$属于$\omega_2$时，$K_k()x_{k+1}<0$，则积累位势不做任何修改就可用作判别函数。

由于一个模式样本的错误分类可造成积累位势在训练时的变化，因此势函数算法提供了确定$\omega_1$和$\omega_2$两类判别函数的迭代过程。判别函数表达式：取$d(x)=K(x)$，则有：$d_{k+1}(x)= d_k(x)+r_{k+1}K(x, x_{k+1})$.

 

4 构成势函数的两种方式：

    第一类势函数和第二类势函数 

     第一类势函数：

     可用对称的有限多项式展开，即：

\[K(x,{x_k}) = \sum\limits_{i = 1}^m {{\phi _i}(x){\phi _i}({x_k})} \]

其中{}在模式定义域内为正交函数集。将这类势函数代入判别函数，有：

\[{d_{k + 1}}(x) = {d_k}(x) + {r_{k + 1}}\sum\limits_{i = 1}^m {{\phi _i}({x_{k + 1}}){\phi _i}(x)}  = {d_k}(x) + \sum\limits_{i = 1}^m {{r_{k + 1}}{\phi _i}({x_{k + 1}}){\phi _i}(x)} \]

得迭代关系：

\[{d_{k + 1}}(x) = \sum\limits_{i = 1}^m {{C_i}(k + 1){\phi _i}(x)} \]

其中

\[{C_i}(k + 1) = {C_i}(k) + {r_{k + 1}}{\phi _i}({x_{k + 1}})\]

因此，积累位势可写成：

\[{K_{k + 1}}(x) = \sum\limits_{i = 1}^m {{C_i}(k + 1){\phi _i}(x)} \]

$C_i$可用迭代式求得。 

     第二类势函数：

     选择双变量$x$和$x_k_$的对称函数作为势函数，即$K(x, x_k) = K(x_k, x)$，并且它可展开成无穷级数，例如：

(a)  $K(x,{x_k}) = {e^{ - \alpha {{\left\| {x - {x_k}} \right\|}^2}}}$

(b)  $K(x,{x_k}) = \frac{1}{{1 + \alpha {{\left\| {x - {x_k}} \right\|}^2}}}$, $\alpha$是正常数

(c)  $K(x,{x_k}) = \left| {\frac{{\sin \alpha {{\left\| {x - {x_k}} \right\|}^2}}}{{\alpha {{\left\| {x - {x_k}} \right\|}^2}}}} \right|$

 

5.势函数法

实例1：用第一类势函数的算法进行分类

1. 选择合适的正交函数集{}

选择Hermite多项式，其正交域为(-∞, +∞)，其一维形式是

其正交性：

其中，H_k(x)前面的乘式为正交归一化因子，为计算简便可省略。因此，Hermite多项式前面几项的表达式为

H₀(x)=1,        H₁(x)=2x,        H₂(x)=4x²-2,

H₃(x)=8x³-12x,        H₄(x)=16x⁴-48x²+12

1. 建立二维的正交函数集

二维的正交函数集可由任意一对一维的正交函数组成，这里取四项最低阶的二维的正交函数

1. 生成势函数

按第一类势函数定义，得到势函数

其中，

1. 通过训练样本逐步计算累积位势K(x)

给定训练样本：ω₁类为x_①=(1 0)^T, x_②=(0 -1)^T

ω₂类为x_③=(-1 0)^T, x_④=(0 1)^T

累积位势K(x)的迭代算法如下

第一步：取x_①=(1 0)^T∈ω₁，故

K₁(x)=K(x, x_①)=1+4x₁·1+4x₂·0+16x₁x₂·1·0=1+4x₁

第二步：取x_②=(0 -1)^T∈ω₁，故K₁(x_②)=1+4·0=1

因K₁(x_②)>0且x_②∈ω₁，故K₂(x)=K₁(x)=1+4x₁

第三步：取x_③=(-1 0)^T∈ω₂，故K₂(x_③)=1+4·(-1)=-3

因K₂(x_③)<0且x_③∈ω₂，故K₃(x)=K₂(x)=1+4x₁

第四步：取x_④=(0 1)^T∈ω₂，故K₃(x_④)=1+4·0=1

因K₃(x_④)>0且x_④∈ω₂，

故K₄(x)=K₃(x)-K(x,x_④)=1+4x₁-(1+4x₂)=4x₁-4x₂

将全部训练样本重复迭代一次，得

第五步：取x_⑤=x_①=(1 0)^T∈ω₁，K₄(x_⑤)=4

故K₅(x)=K₄(x)=4x₁-4x₂

第六步：取x_⑥=x_②=(0 -1)^T∈ω₁，K₅(x_⑥)=4

故K₆(x)=K₅(x)=4x₁-4x₂

第七步：取x_⑦=x_③=(-1 0)^T∈ω₂，K₆(x_⑦)=-4

故K₇(x)=K₆(x)=4x₁-4x₂

第八步：取x_⑧=x_④=(0 1)^T∈ω₂，K₇(x_⑧)=-4

故K₈(x)=K₇(x)=4x₁-4x₂

以上对全部训练样本都能正确分类，因此算法收敛于判别函数

d(x)= 4x₁-4x₂

 

实例2：用第二类势函数的算法进行分类

 

 

选择指数型势函数，取α=1，在二维情况下势函数为

这里：ω₁类为x_①=(0 0)^T, x_②=(2 0)^T

ω₂类为x_③=(1 1)^T, x_④=(1 -1)^T

可以看出，这两类模式是线性不可分的。算法步骤如下：

第一步：取x_①=(0 0)^T∈ω₁，则

K₁(x)=K(x,x_①)=

第二步：取x_②=(2 0)^T∈ω₁

因K₁(x_②)=e^-(4+0)=e^-4>0，

故K₂(x)=K₁(x)=

第三步：取x_③=(1 1)^T∈ω₂

因K₂(x_③)=e^-(1+1)=e^-2>0，

故K₃(x)=K₂(x)-K(x,x_③)=

第四步：取x_④=(1 -1)^T∈ω₂

因K₃(x_④) =e^-(1+1)-e^-(0+4)=e^-2-e^-4>0，

故K₄(x)=K₃(x)-K(x,x_④)

=

需对全部训练样本重复迭代一次

第五步：取x_⑤=x_①=(0 0)^T∈ω₁，K₄(x_⑤)=e⁰-e^-2-e^-2=1-2e^-2>0

故K₅(x)=K₄(x)

第六步：取x_⑥=x_②=(2 0)^T∈ω₁，K₅(x_⑥)=e^-4-e^-2-e^-2=e^-4-2e^-2<0

故K₆(x)=K₅(x)+K(x,x_⑥)

=

第七步：取x_⑦=x_③=(1 1)^T∈ω₂，K₆(x_⑦)=e^-2-e⁰-e^-4+e^-2=2e^-2-e^-4-1<0

故K₇(x)=K₆(x)

第八步：取x_⑧=x_④=(1 -1)^T∈ω₂，K₇(x_⑧)=e^-2-e^-4-e⁰+e^-2=2e^-2-e^-4-1<0

故K₈(x)=K₇(x)

第九步：取x_⑨=x_①=(0 0)^T∈ω₁，K₈(x_⑨)=e⁰-e^-2-e^-2+e^-4=1+e^-4-2e^-2>0

故K₉(x)=K₈(x)

第十步：取x_⑩=x_②=(2 0)^T∈ω₁，K₉(x_⑩)=e^-4-e^-2-e^-2+e⁰=1+e^-4-2e^-2>0

故K₁₀(x)=K₉(x)

经过上述迭代，全部模式都已正确分类，因此算法收敛于判别函数

势函数分类算法评价：

1.用第二类势函数，当训练样本维数和数目都较高时，需要计算和存储的指数项较多。

2. 正因为势函数由许多新项组成，因此有很强的分类能力。