第 3 讲

模型评估与选择

评价指标、验证与交叉验证

训练确定参数 · 验证选择模型 · 测试评价定型结果

训练优化与泛化评价

房价模型：历史成交记录 → 新房屋预测

训练误差
已用样本上的平均损失
$$\widehat R_{S_{\rm train}}(h)$$

期望风险
目标分布上的平均损失
$$R(h)=\mathbb E[\ell(h(x),y)]$$

回归指标：预测值与真实值的距离

● 真实值◆ 模型预测

平均绝对误差 Mean Absolute Error, MAE

$$\operatorname{MAE}=\frac1m\sum_{i=1}^m|h(x_i)-y_i|=\frac{10+10+30}{3}\approx16.7$$

均方误差 Mean Squared Error, MSE

$$\operatorname{MSE}=\frac1m\sum_{i=1}^m(h(x_i)-y_i)^2=\frac{100+100+900}{3}\approx366.7$$

平方误差对较大的预测偏差给予更高权重。

人工构造预测；MAE 单位为万元，MSE 单位为万元²。$m$ 是当前评估集的样本数。

分类指标：混淆矩阵

垃圾邮件为正类，正常邮件为负类。

真实类别 ↓ / 预测 →	垃圾	正常
垃圾	正确拦截 8 真阳性 · true positive · TP	漏拦 2 假阴性 · false negative · FN
正常	误拦 4 假阳性 · false positive · FP	正确放行 86 真阴性 · true negative · TN

准确率 accuracy

$$\frac{\mathrm{TP}+\mathrm{TN}}{m}=\frac{8+86}{100}=94\%$$

全部样本中，预测正确的比例。

召回率 recall

$$\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}=\frac{8}{8+2}=80\%$$

实际正类中，被正确找出的比例。

$\displaystyle F_1=\frac{2\,\mathrm{Precision}\cdot\mathrm{Recall}}{\mathrm{Precision}+\mathrm{Recall}} =\frac{2\mathrm{TP}}{2\mathrm{TP}+\mathrm{FP}+\mathrm{FN}} =\frac{16}{22}\approx72.7\%$

Recall Precision

Optimizing the F-Measure for Threshold-Free Salient Object Detection
Kai Zhao et al. · ICCV 2019

100封邮件的计数为教学构造。先固定哪个类别是正类，再解释四种结果，避免把positive误解成“好”或“正确”。行是真实类别，列是预测类别。全部10封垃圾邮件中有8封被正确拦截、2封漏过；90封正常邮件中4封误拦、86封正确放行。准确率的分母是全部100封邮件，召回率的分母是10封真实垃圾邮件。召回率也称查全率，回答实际需要拦截的邮件中成功找出了多少。全部放行时有90封正常邮件被判对，准确率90%，但TP为0，召回率0%。准确率和召回率并非必然冲突。下方引入查准率precision：被拦截的邮件中有多少确实是垃圾，即TP/(TP+FP)。它与准确率accuracy不同。 F1是查准率与召回率的调和平均。本例直接代入计数，F1=16/(16+4+2)=16/22，约为72.7%。双剑表示阈值选择时常见的查准率与召回率权衡，不表示任何阈值变化都会让两者严格反向变化；改进模型也可能同时提高两者。下一页继续比较两者分母，并展开F1的含义。参考论文：Kai Zhao, Shanghua Gao, Wenguan Wang, Ming-Ming Cheng. Optimizing the F-Measure for Threshold-Free Salient Object Detection. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019. 原文F-measure综合precision与recall，通过beta控制权重；论文提出可微的relaxed F-measure作为训练损失FLoss，研究显著性目标检测中的训练与评价目标一致性。它不以accuracy和recall的调和平均定义F-measure。论文信息与摘要已对照CVF官方开放获取页面；混淆矩阵与分类指标另参考scikit-learn文档。

查准率与召回率

查准率 precision

拦下来的邮件中，多少真是垃圾？

$$P=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}=\frac8{8+4}=66.7\%$$

分母：全部预测为垃圾的邮件

召回率 recall · 亦称查全率

真正的垃圾邮件中，拦住了多少？

$$R=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}=\frac8{8+2}=80\%$$

分母：全部真实垃圾邮件

$$F_1=\frac{2PR}{P+R}=\frac{2\mathrm{TP}}{2\mathrm{TP}+\mathrm{FP}+\mathrm{FN}}=\frac{16}{22}\approx72.7\%$$

分类阈值与两种错误

邮件内容 $x$

→

模型得分 $s(x)$

→

$s(x)\ge\tau$ 时拦截

阈值降低

拦下更多邮件
漏拦不增，误拦不减

阈值提高

放行更多邮件
误拦不增，漏拦不减

按任务代价选择指标与阈值，再用独立测试集评价。

参考：scikit-learn：分类与回归指标。固定数据与模型，仅改变阈值。

欠拟合与过拟合

状态	训练表现	新样本表现
欠拟合 underfitting	主要关系仍未学好	误差较大
过拟合 overfitting	适应了样本偶然性	误差可能增大

参数与超参数

$$h_d(x)=w_0+w_1x+\cdots+w_dx^d$$

对象	含义	确定依据
参数 $w_0,\ldots,w_d$	具体曲线	训练样本
超参数 $d$	次数上限	验证表现

超参数：hyperparameter。固定 $d$ 后，再从训练样本学习系数。

三种数据职责

训练集training set拟合参数

→

验证集validation set选择模型

→

测试集test set评价定型结果

模型定型之前，测试集保持独立。

留出法

独立同分布样本：随机划分，固定职责。

训练 60%

验证 20%

测试 20%

所有候选模型使用同一划分。

留出法：hold-out。比例为示例，具体取决于样本量与评估精度。

验证集上的模型选择

给定候选次数$d=0,1,\ldots,8$

→

分别训练$\hat h_0,\ldots,\hat h_8$

→

比较验证误差选择 $d^*$

$$d^*=\arg\min_d\;\frac1{n_{\rm val}}\sum_{(x_i,y_i)\in S_{\rm val}}\big(\hat h_d(x_i)-y_i\big)^2$$

均方误差（Mean Squared Error, MSE）；$n_{\rm val}$ 为验证样本数。

多项式次数与验证误差

●训练 ▲验证当前模型生成函数

训练误差验证误差

合成数据：$x\sim U(0,1)$，$y=\sin(2\pi x)+\varepsilon$，$\varepsilon\sim\mathcal N(0,\sigma^2)$；测试集不参与选择。

约 4 分钟。先固定训练量和噪声，把次数从 1 改为 3，再改为 8，对照曲线与两种误差。点击“选择验证最优”按当前同一验证集上的最小均方误差选择次数；所有候选已实时拟合。改次数不换数据。训练量 20–160，验证量固定 80；改训练量保留相同随机序列的前缀，验证集保持不变。调噪声保留输入与基础随机噪声；“换数据”才推进种子并重新产生训练、验证样本。训练输入的最小、最大值用于把训练坐标缩放到 [-1,1]；同一变换用于验证输入，超出训练范围时不截断输入。图中曲线超出固定纵轴时会显示裁切提示；误差仍在全部样本上按实际预测计算，右图纵轴自动调整。这是一段模型开发实验，不计算或显示可反复查看的测试误差。最终测试流程在后面单独说明。生成函数仅供观察，拟合和选择过程不读取它的无噪声输出。

$k$ 折交叉验证

开发数据等分为 $k$ 份，轮流验证。

三折	第 1 份	第 2 份	第 3 份
第 1 轮	验证	训练	训练
第 2 轮	训练	验证	训练
第 3 轮	训练	训练	验证

$$\text{等大各折：}\quad\bar E_d=\frac1k\sum_{j=1}^{k}E_{d,j}$$

cross-validation；每轮重新拟合，测试集另留。

约 3 分钟。开发数据是最终测试集之外用于建模的数据。每个候选次数执行完整的 k 轮，再比较其平均验证误差。 E_{d,j} 是次数上限 d 在第 j 轮验证集上的平均损失。该轮模型仅由其余 k−1 份训练得到。这里各折等大，逐折误差的简单平均等于所有折外预测平方误差的总体平均。各折不等大时，若希望每个样本权重相同，可按验证样本数加权；报告时应说明平均方式。每个样本恰好验证一次，但各轮训练集互有重叠，各折误差不能当作相互独立的重复实验。交叉验证提高开发数据的利用率，代价是每个候选需要 k 次训练；其误差对应较小训练量，不等同于最终重训模型的误差。阅读来源：CS229 model selection §1，k-fold cross validation。

折分配与各折误差

●本轮训练▲本轮验证本轮模型

各折验证误差平均

60 个合成样本；同一候选比较使用相同折分配，每折独立拟合。

约 4 分钟。切换“查看轮次”，观察同一批点如何改变职责，品红模型如何随训练部分变化。折数提供 3、5、10，60 可被三者整除，因此各折样本数相等。改次数保持折分配固定；每个候选的 k 个模型都重新拟合，图中柱高是每轮实际验证均方误差。下方矩形表示固定的各份数据，绿色块为当前验证部分；其余蓝色块组成该轮训练部分。 “重新分折”只推进划分种子，保留样本；“换数据”推进数据种子并保持当前划分规则。每轮缩放范围由该轮训练点的最小、最大输入估计，读数显示该范围，验证点只应用该变换。使用更多折时，每轮训练数据更多、验证数据更少，但计算更多；各折波动或均值不保证单调降低。各折柱高差异展示对数据划分的敏感性，不把它直接转换成独立样本标准误或置信区间。

每一折中的预处理

$$\tilde x=\frac{x-\mu_j}{s_j}\qquad \mu_j,s_j\text{ 仅由第 }j\text{ 轮训练部分估计}$$

先划分本轮训练 / 验证

→

训练部分估计均值、尺度、模型

→

验证部分应用变换与预测

约 3 分钟。预处理也会从数据学习。以单个特征的标准化为例，μ_j 是第 j 轮训练部分的均值，s_j 是该部分的标准差。验证样本使用同一组 μ_j、s_j，不重新计算自己的均值和标准差；常量特征需用预先约定的规则处理零标准差。下一轮训练数据改变，预处理和模型都重新拟合。缺失值填补、特征筛选、降维也遵守同一原则。上页演示采用另一种预处理：训练部分的最小—最大缩放。标准化与最小—最大缩放都需遵守训练估计、验证应用的职责。预先由单位或物理范围确定、与当前样本无关的变换无需估计；不能把它与从全体样本估计统计量混为一谈。编程时可把预处理与模型放在同一个 pipeline 内，交给交叉验证逐折拟合。参考 https://scikit-learn.org/stable/common_pitfalls.html#data-leakage。

数据泄漏 data leakage

进入建模的信息	对应约束
全体样本的预处理统计量	每折内部估计
成交后才知道的属性	预测时已经可得
反复查看的测试结果	模型定型后评价

面向未来预测的时间划分

房价预测：用已知成交记录预测未来成交。

较早时期训练

→

较晚时期验证

→

最近留出时期最终测试

每次预测只使用当时已知的信息。

面向新对象的分组划分

同一房屋的多次记录 → 同一组

按记录随机分
同一房屋可能跨集合
评价可能偏乐观

按房屋整体分
验证房屋未参与训练
评价新房屋预测

约 2 分钟。目标如果是对未见房屋进行预测，独立单元应至少以房屋为组，重复挂牌和多次成交记录保持在同一集合。以同一患者多次采样、同一设备多段信号为例，也应先确定预期推广到“同一对象的新记录”还是“完全新的对象”。分组方法服务于评估目标。若希望推广到未见小区，可能要按小区分组；希望推广到未见城市，可能需留城市评估。房屋分组并不自动消除同小区、同时间的所有相关性，具体独立单元需根据数据形成机制选择。 GroupKFold 是实现分组交叉验证的一种工具；同组样本不会同时出现在一轮的训练和验证中。参考 https://scikit-learn.org/stable/modules/cross_validation.html#cross-validation-iterators-for-grouped-data。

上海训练、东京测试的评估边界

测试来源	评价范围
上海房屋	上海目标分布
东京房屋	东京目标分布

分布偏移：特征分布与定价关系都可能变化。

distribution shift；先统一特征、单位与价格口径。

约 2 分钟。这是评估设计的概念案例，没有引入真实城市房价数字。两地内部均可存在独立样本，但训练和测试的分布仍可能不同；独立性与同分布是不同条件。上海房屋训练的固定模型，在独立且有代表性的东京测试集上计算损失，可评价其在东京目标分布上的表现。若只在上海留出评估，结论的直接范围仍是该上海采样分布；推广到东京需要额外证据。先统一面积和距离单位、币种换算、总价定义与交易时间口径。单位差异不能直接当作模型泛化失败。特征分布 P(X) 与价格条件分布 P(Y|X) 都可能改变，因此不把这个例子限定为仅 P(X) 改变的协变量偏移。如果使用东京验证数据调整模型，则最终需保留另一份独立东京测试数据；评价的将是经过该开发过程的模型。这里的地域应用是从“评估样本代表目标分布”原则作出的推论，不是城市比较的实证结论。

模型定型与最终测试

确定完整方案特征、预处理、超参数

→

开发数据重训训练集 + 验证集

→

独立测试按预定指标报告

测试反馈一旦用于改模型，便成为开发信息。

约 2 分钟。选择完成后可按预先约定的流程，在全部开发数据上重新拟合预处理和参数，得到最终固定模型。重训改变了模型参数，因此之前的验证分数不是重训模型的测试误差；最终独立测试评价重训后的完整流程。也可选择保留已经拟合的模型而不重训，但应事先约定并报告实际流程；这里展示的是常见重训做法。测试并非一个结果不佳便重置的按钮。若根据测试结果修改方案，应把已查看数据视为开发信息，重新组织独立评价。没有充足数据长期留出时，可使用嵌套交叉验证：内层选择，外层评估整个选择过程；细节放在备注避免增加本讲记忆负担。测试集大小、来源、时间范围与评价指标共同限定结果的含义；单个分数不消除抽样不确定性。

学习曲线 learning curve

训练误差验证误差

观察	检查方向
两者均高	表达能力、优化
差距较大	样本量、复杂度

合成数据；固定次数，改变训练量。各训练量重复 6 次，取均值。

约 3 分钟。先区分横轴：第一个演示改变次数，本页改变训练样本量，次数在一次曲线计算中保持固定。输入分布和生成函数与前面一致，噪声标准差为 0.3。训练量依次为 30、60、100、160、240，每次都有独立的 200 个验证样本。六次重复分别使用不同的固定种子。同一重复内部，训练集按随机样本序列取前缀，验证集固定；不同重复之间的采样独立。每个点重新估计训练缩放参数并拟合。改变次数保留数据种子；“换数据”重新生成所有重复。一次模型可展示样本增多仍难以捕捉正弦形状；三次模型与八次模型提供不同复杂度的比较。曲线是有限模拟的均值，允许波动，不保证严格单调。一次模型的误差较高也是相对于任务噪声和其他候选而言。两种形态提供诊断线索，需同时检查优化是否完成、特征是否充分、评价数据是否代表应用场景。不能把两条曲线之差直接叫作方差，也不能保证增加数据一定解决所有过拟合。

评估流程小结

训练拟合，验证选择，测试评价
预处理纳入每折训练
数据划分对应应用对象与时间

阅读材料

周志华《机器学习》
第 2 章 §2.1–2.3：过拟合、评估方法、性能度量

Stanford CS229 · Andrew Ng
Regularization and model selection，§1

scikit-learn
Cross-validation · Data leakage

第 3 讲结束

最小二乘、梯度下降、normal equations与概率解释

← → 翻页 · o 总览 · s 演讲者视图 · f 全屏 · 网址后加 ?print-pdf 可导出 PDF