第 11 讲
特征提取与降维
主成分分析 · 投影与重建 · 自动编码器
特征选择、提取与降维
| 操作 | 输入 → 输出 | 保留对象 |
|---|
| 特征选择 | 面积、房龄、楼层 → 面积、房龄 | 原有列 |
| 特征提取 | 像素 → 边缘响应 | 新的表示 |
| 降维 | 100 个数 → 2 个数 | 更少坐标 |
相关测量与低维结构
两个测量值可能主要沿一个方向变化。
合成点云；直线表示低维结构。
中心化的坐标平移
$$\mu=\frac1n\sum_{i=1}^{n}x_i,\qquad \widetilde x_i=x_i-\mu$$
均值确定中心；方向描述中心附近的变化。
一维投影与重建
$$z=u^{\mathsf T}(x-\mu),\qquad \hat x=\mu+uz$$
投影方向与重建误差
主成分分析（Principal Component Analysis, PCA）；合成二维数据。
PCA 的最大方差目标
$$\max_{\|u\|=1}\ \frac1n\sum_i\big[u^{\mathsf T}(x_i-\mu)\big]^2$$
约束 $\|u\|=1$，排除任意放大坐标。
CS229：Principal Components Analysis
协方差矩阵与特征向量
$$C=\frac1n\sum_i(x_i-\mu)(x_i-\mu)^{\mathsf T},\qquad Cu=\lambda u$$
$$C=\begin{bmatrix}2&1\\1&2\end{bmatrix},\quad u_1=\frac1{\sqrt2}\begin{bmatrix}1\\1\end{bmatrix},\quad\lambda_1=3$$
最大特征值对应第一主成分。
多个主成分的编码与重建
$$U=[u_1,\ldots,u_k],\qquad U^{\mathsf T}U=I$$
按特征值从大到小，保留 $k$ 个正交方向。
保留维数与信息损失
$$\text{累计解释方差比}=\frac{\lambda_1+\cdots+\lambda_k}{\lambda_1+\cdots+\lambda_d}$$
$k=2$ 保留 $12/15=80\%$ 的方差。
示例谱；保留方差不等同于保留任务信息。
测量单位与标准化
$$x_j\leftarrow\frac{x_j-\mu_j}{s_j}$$
同一合成样本；缩放倍数模拟测量单位变化。
方差与类别信息的区别
PCA 使用输入分布，不使用类别标签。
合成反例：保留最多方差的方向可能丢失分类信息。
线性子空间与非线性结构
PCA 限定线性；非线性表示允许更复杂结构。
降维流水线中的数据边界
跨验证折时，预处理参数也应重新拟合。
第 11 讲结束
← → 翻页 · o 总览 · s 演讲者视图 ·
f 全屏 · 网址后加 ?print-pdf 可导出 PDF
机器学习 · 研究生 第 11 讲 特征提取与降维
https://kaizhao.net/teaching/shu-ml-grad