3.1线性判别函数【模式识别】

用判别函数分类的概念

首先模式识别系统的主要作用是：判别各个模式所属的类别，例如对一个两类问题的判别，就是将模式x划分为成ω1和ω2两类。

两类问题的判别函数（以二维模式样本为例）

若x是二维模式样本x = (x₁ x₂)^T，用x₁和x₂作为坐标分量，得到模式的平面图： 

这时，若这些分属于ω₁和ω₂两类的模式可用一个直线方程d(x)=0来划分

d(x) = w₁x₁ + w₂x₂ + w₃ = 0

其中x₁、x₂为坐标变量，w₁、w₂、w₃为参数方程，则将一个不知类别的模式代入d(x)，有

- 若d(x) > 0，则

- 若d(x) < 0，则

此时，d(x)=0称为判别函数。

用判别函数进行模式分类依赖的两个因素

（1）判别函数的几何性质：线性的和非线性的函数。
       •线性的是一条直线；
       •非线性的可以是曲线、折线等；
       •线性判别函数建立起来比较简单（实际应用较多）；
       •非线性判别函数建立起来比较复杂。
（2）判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。
       •只要被研究的模式是可分的，就能用给定的模式样本集来确定判别函数的系数。

线性判别函数

一个n维线性判别函数的一般形式：

 

 

 

其中w₀ = (w₁, w₂, …, w_n)^T称为权向量（或参数向量）, x = (x₁, x₂, …, x_n)^T。

 

d(x)也可表示为：d(x) = w^Tx

 

其中，x = (x₁, x₂, …, x_n, 1)^T称为增广模式向量，w = (w₁, w₂, …, w_n+1)^T称为增广权向量。

分类情况：

两类情况：判别函数d(x)

 

 

 多类情况：

    设模式可分成ω1, ω2,…, ωM共M类，则有三种划分方法
    •多类情况1
    •多类情况2
    •多类情况3

多类情况1：

用线性判别函数将属于ω_i类的模式与不属于ω_i类的模式分开，其判别函数为：

  i = 1, 2, …, M。

这种情况称为两分法，即把M类多类问题分成M个两类问题，因此共有M个判别函数，对应的判别函数的权向量为w_i, i = 1, 2, …, M。

 

图例：对一个三类情况，每一类模式可用一个简单的直线判别界面将它与其它类模式分开。

例如对的模式，应同时满足：d₁(x)>0，d₂(x)<0，d₃(x)<0

不确定区域：若对某一模式区域，d_i(x)>0的条件超过一个，或全部d_i(x)<0，i = 1, 2, …, M，则分类失败，这种区域称为不确定区域(IR)。

 

例题：设有一个三类问题，其判别式为：

d₁(x)= -x₁ + x₂，d₂(x)= x₁ + x₂ - 5，d₃(x)= -x₂ + 1

则对一个模式x=(6, 5)^T，判断其属于哪一类。

将x=(6, 5)^T代入上述判别函数，得：

d₁(x) = -1，故d₁(x)<0

d₂(x) = 6，故d₂(x)>0

d₃(x) = -4，故d₃(x)<0

从而

假若x=(3, 5)^T，则

d₁(x) = 2>0

d₂(x) = 3>0

d₃(x) = -2<0

分类失败。

 多类情况2：

采用每对划分，即ω_i/ω_j两分法，此时一个判别界面只能分开两种类别，但不能把它与其余所有的界面分开。其判别函数为：

若d_ij(x)>0，，则 

重要性质：d_ij = -d_ji

图例：对一个三类情况，d₁₂(x)=0仅能分开ω₁和ω₂类，不能分开ω₁和ω₃类。

要分开M类模式，共需M(M-1)/2个判别函数。

不确定区域：若所有d_ij(x)，找不到，d_ij(x)>0的情况。

例：设有一个三类问题，其判别函数为：

d₁₂(x)= -x₁ - x₂ + 5，d₁₃(x)= -x₁ + 3，d₂₃(x)= -x₁ + x₂

若x=(4, 3)^T，则：d₁₂(x) = -2，d₁₃(x) = -1，d₂₃(x) = -1

则：

所以。

若x=(2.8, 2.5)^T，则：d₁₂(x) = -0.3，d₁₃(x) = 0.2，d₂₃(x) = -0.3

则：

所以分类失败。

分类情况3：