第3章 概率密度函数估计

# 第 3 章 概率密度函数估计

# 参数估计与非参数估计

• 参数估计：先假定类条件概率密度具有某种确定的分布形式（正态分布、二项分布……），再用已经具有类别标签的训练集对概率分布的参数进行估计。
• 非参数估计：在不知道不假设类条件概率密度的分布形式的基础上，直接用样本集中所包含的信息来估计样本的概率分布情况。

# 参数估计的基本概念

• 统计量：针对不同要求构造出样本的某种函数
• 参数空间：概率密度函数中未知参数$\theta$ 的全部可容许取值组成的集合
• 点估计：构造一个统计量$\hat\theta$ 作为参数$\theta$ 的估计
• 区间估计：用置信区间作为$\theta$ 可能取值范围的一种估计

# 有监督参数估计

分布形式已知，参数未知，用某类的样本集$X_{i}$ 来估计，共 c 类。
常用方法：

• 极大似然估计法
• 贝叶斯估计法

# 极大似然估计法

• 似然函数

$$l(\theta)=p(X|\theta)=p(x_1,x_2,…,x_N|\theta)=\prod_{k=1}^{N}p(x_k|\theta)$$

此时问题变为：$\theta$ 取什么值才能让 x 使$l(\theta)$ 取到极大值。

# 贝叶斯估计法

• 定理：若损失函数为二次函数，即

$$\lambda(\hat\theta,\theta)=(\hat\theta-\theta)^2$$

则按最小风险决策规则，有

$$\hat\theta=E[\frac{\theta}{x}]=\int_{\Theta}\theta p(\theta|X)d\theta$$

# 无监督参数估计

• 似然函数

$$l(\theta)=p(X|\theta)=\prod_{k=1}^{N}p(x_k|\theta)$$

其中

$$p(x|\theta)=\sum_{j=1}^{c}p(x|\omega_{j},\theta_j)P(\omega_j)$$

# 非参数估计

方法：

• 直方图法：用直方图逼近概率密度函数
• 核密度估计法