第4章 线性分类器

# 第 4 章 线性分类器

# 线性判别与非线性判别

# 分类决策边界

• 定义：若样本集可分为两类，若能在特征空间中找到一条类别之间的界限，则称之为分类决策边界。
• 用方程表示分类决策边界，通过把样本代入方程之后大于零还是小于零来判断属于正侧还是负侧。该方程就叫判别函数。
• 线性分类器 = 线性判别函数 + 对应分类决策规则

# 线性判别函数

# 一般形式

若特征向量 x 是 n 维的，则线性判别函数的一般形式为：

$$\begin{aligned} d(x) &= w_{1}x_{1}+w_{2}x_{2}+…+w_{n}x_{n}+w_{0}\\ &= w^{T}x+w_{0}\\ &= a^{T}y \end{aligned}$$

其中

$$w= \begin{pmatrix} w_{1}\\ w_{2}\\ \vdots\\ w_{n}\\ \end{pmatrix}$$

称为权向量。

$$a= \begin{pmatrix} w_{0}\\ w_{1}\\ \vdots\\ w_{n}\\ \end{pmatrix}, y= \begin{pmatrix} 1\\ x_{1}\\ \vdots\\ x_{n}\\ \end{pmatrix}$$

$w_{0}$ 称为阈值权（偏置）

# 几何意义

$w$ 是决策面的法向量，确定决策面方向。
$w_0$ 决定决策面的位置。

# 样本的线性可分性

若有一个线性分类器可以把每个样本正确分类，则称这组样本集为线性可分，否则为线性不可分。

# 非线性判别问题处理

• 广义线性化：将一个模式识别问题从低维特征空间映射到高维特征空间时，可以将非线性分类问题转换成线性分类问题。

# 多分类线性判别

• 通过多个线性判别函数来解决多分类问题。
• 分为 “绝对可分” 情况和 “两两可分” 情况。
• 两两可分的多分类线性判别可以减少不可识别区域的情况。
• 若想进一步减少不可识别区域，可使用 “最大值可分”

# Fisher 线性判别准则

• 高维数据投影到一维
• 类间距尽可能远
• 每类自身尽可能紧凑
• 用均值和离散度作为判别准则