第2章 贝叶斯分类器

# 第 2 章 贝叶斯分类器

# 贝叶斯决策理论

# 贝叶斯公式

• 条件概率公式

$$P(A|B)=\frac{P(AB)}{P(B)}$$

• 全概率公式

$$P(A)=\sum_{i}P(A|B_{i})P(B_{i})$$

• 贝叶斯公式

$$P(B_{i}|A)=\frac{P(A|B_{i})P(B_{i})}{\sum P(A|B_{i})P(B_{i})}$$

即：后验概率 = 类条件概率密度 * 先验概率 / 全概率
类条件概率：表示在某种类别前提下，某事发生的概率。
后验概率：表示某事发生了且属于某一类别的概率。

# 常用决策规则

• 最小错误率决策
• 最小风险决策
• Neyman-Pearson 决策
• 最小最大决策
• 序贯决策

# 最小错误率贝叶斯决策方法

希望尽量减少分类的错误。
即若$P(\omega_{i}|X)=max\{P(\omega_{j}|X)\}$
则$\omega_{i}$ 为所求错误率最小。

# 最小风险贝叶斯决策

引入损失函数$\lambda(\alpha_{i},\omega_{j})$，表示决策为$\alpha_{i}$ 实际上状态为$\omega_{j}$ 所带来的损失。
在采取决策$\alpha_{i}$ 情况下的条件期望损失 (条件风险) 为：

$$R(\alpha_{i}|X)=\sum_{j=1}^{m}\lambda(\alpha_{i},\omega_{j})P(\omega_{j}|X)$$

令$\lambda_{ij}$ 表示$\lambda(\alpha_{i},\omega_{j})$，则将 x 判断为$\omega_{i}$ 的条件风险为：

$$R(\omega_{i}|x)=\sum_{j=1}^{m}\lambda_{ij}P(\omega_{j}|x)$$

# 贝叶斯分类器设计

# 贝叶斯分类器

• 应用贝叶斯决策规则对样本 x 进行分类的分类器
• 对于 c 类问题，按照决策规则可以把 n 维特征空间分成 c 个决策域
• 划分决策域的边界称为决策面，在数学上用解析形式可以表示为决策面方程
• 用于表达决策规则的某些函数称为判别函数

# 正态分布的贝叶斯分类

# 贝叶斯分类器的错误率