第 9 讲
聚类与期望最大化
相似性、隐变量与交替估计
无标签样本与聚类归属
$$\{x_1,\ldots,x_n\}\quad\longrightarrow\quad z_i\in\{1,\ldots,K\}$$
聚类（clustering）；$x_i$ 为第 $i$ 个样本，$z_i$ 为其簇编号，$K$ 为簇数。
距离与特征尺度
$$\|x_i-x_j\|_2^2=\sum_{q=1}^{d}(x_{iq}-x_{jq})^2,\qquad\tilde x_{iq}=\frac{x_{iq}-\mu_q}{s_q}$$
$q$ 为特征编号；$\mu_q,s_q$ 为该特征的均值与标准差。图为尺度效应示意。
$k$-means 的目标函数
$$J(z,\mu)=\sum_{i=1}^{n}\|x_i-\mu_{z_i}\|_2^2$$
$\mu_k$ 为簇 $k$ 的中心；$J$ 为簇内平方距离总和。
分配步骤：最近中心
样本 $x=3$，当前中心 $\mu_1=1$、$\mu_2=6$。
$$\|3-1\|^2=4<9=\|3-6\|^2\quad\Longrightarrow\quad z=1$$
$$z_i\leftarrow\arg\min_{k\in\{1,\ldots,K\}}\|x_i-\mu_k\|_2^2$$
固定中心，各样本独立选择平方距离最小的簇。
更新步骤：簇内均值
簇 1 当前包含 $1,2,6$，其中心更新为 $3$。
$$\mu_1\leftarrow\frac{1+2+6}{3}=3,\qquad\mu_k\leftarrow\frac{1}{n_k}\sum_{i:z_i=k}x_i$$
$n_k$ 为分到簇 $k$ 的样本数；空簇需单独处理。
中心更新与目标下降
96 个合成点；点色表示当前分配，品红叉表示中心；每轮执行分配与更新。
初始中心与局部最优
首个中心随机选点计算到最近中心的平方距离按平方距离抽取后续中心
Arthur & Vassilvitskii，2007：k-means++。
簇数与聚类评价
| 证据 | 可以说明 | 解释边界 |
|---|
| 簇内平方距离 | 当前距离下的紧凑性 | 增加簇数通常降低最优目标 |
| 不同抽样 / 初始化 | 分组稳定性 | 稳定也可能来自错误表示 |
| 外部标注 / 任务效果 | 分组的实际关联 | 不自动对应自然类别 |
Lloyd，1982：平方误差量化与交替更新。
高斯混合的生成过程
$$p(x)=\sum_{k=1}^{K}\pi_k\,\mathcal N(x\mid\mu_k,\sigma_k^2),\qquad\sum_k\pi_k=1$$
高斯混合模型（Gaussian Mixture Model, GMM）；$\pi_k$ 是成分权重。
已知类别与隐变量
| 场景 | 训练时观测 | 参数估计 |
|---|
| 有标签高斯分类 | 输入 $x_i$、类别 $y_i$ | 按标签分组求均值 |
| 无标签混合模型 | 仅输入 $x_i$ | 推断成分后加权更新 |
$$z_i:\ \text{隐藏的成分编号},\qquad r_{ik}=P(z_i=k\mid x_i)$$
隐变量（latent variable）；责任度（responsibility）$r_{ik}$ 为样本 $i$ 属于成分 $k$ 的后验概率。
E 步：计算责任度
强度 $x_i=4$；当前两成分给出各自的密度与权重。
$$r_{ik}\leftarrow\frac{\pi_k\,\mathcal N(x_i\mid\mu_k,\sigma_k^2)}{\sum_{h=1}^{K}\pi_h\,\mathcal N(x_i\mid\mu_h,\sigma_h^2)}$$
期望最大化（Expectation–Maximization, EM）；E 步固定当前参数，更新隐变量后验。
M 步：加权更新参数
$N_k=\sum_i r_{ik}$：成分 $k$ 的有效样本数。
$$\pi_k\leftarrow\frac{N_k}{n},\qquad \mu_k\leftarrow\frac{\sum_i r_{ik}x_i}{N_k}$$
$$\sigma_k^2\leftarrow\frac{\sum_i r_{ik}(x_i-\mu_k)^2}{N_k}$$
M 步固定责任度；方差式使用本轮新均值。
责任度与混合分布更新
84 个合成强度值；蓝 / 红：加权成分密度，品红：总密度；固定方差下界 $0.04$。
对数似然与单调性
$$\ell(\theta)=\sum_{i=1}^{n}\log\!\left[\sum_{k=1}^{K}\pi_k\mathcal N(x_i\mid\mu_k,\sigma_k^2)\right]$$
精确 E 步与合法 M 步使观测对数似然不下降。
$ heta$ 汇总全部混合参数；Dempster、Laird & Rubin，1977：EM 原论文。
局部最优与方差退化
| 现象 | 原因 | 处理 |
|---|
| 不同初始化得到不同分组 | 非凸目标与驻点 | 多次启动比较目标 |
| 两个成分始终重合 | 完全对称的初始参数 | 打破对称初始化 |
| 方差趋近零 | 单成分围住少数点 | 参数约束或正则化 |
高斯混合：初始化、协方差结构与退化问题。
硬分配与软分配
| 方法 | 归属 | 中心更新 |
|---|
| $k$-means | 最近中心，单一编号 | 簇内均值 |
| 混合高斯 EM | 各成分后验概率 | 责任度加权均值 |
相似性与隐变量建模
选择输入表示定义距离 / 分布交替估计归属与参数检查稳定性与实际意义
Lloyd，1982 · k-means++，2007 · EM，1977
第 9 讲结束
← → 翻页 · o 总览 · s 演讲者视图 ·
f 全屏 · 网址后加 ?print-pdf 可导出 PDF
机器学习 · 研究生 第 9 讲 聚类与期望最大化
https://kaizhao.net/teaching/shu-ml-grad