机器学习（研究生）
课程简介
本课程面向研究生，系统介绍机器学习的基本概念、经典模型与算法。 课程从模型的评估与选择出发，依次讲授线性模型、决策树与集成学习、支持向量机、神经网络与深度学习、贝叶斯分类器， 以及降维与度量学习、聚类与 EM 算法、特征选择与稀疏学习、半监督学习等内容， 最后结合当年最新的科研成果介绍机器学习前沿技术。
- 授课对象： 研究生
- 授课单位： 上海大学
- 课时安排： 共 8 次课，每次课 4 节，每节 45 分钟
- 课件： PDF，见下方教学大纲各次课的 slides 链接
- 讲义： 线性判别分析 (LDA) · 支持向量机 (SVM)
教学大纲
| 次序 | 内容 | |
|---|---|---|
| 1 | 绪论： 机器学习的基本概念、用途、发展历史及分类；预备知识与编程实现环境 模型的评估与选择： 经验误差与过拟合；评估方法；性能度量；偏差与方差 | slides |
| 2 | 线性模型： 线性回归；对数几率回归；线性判别分析；多分类学习；类别不平衡问题 | slides |
| 3 | 决策树： 基本概念及构造；ID3、C4.5、CART 算法；连续属性处理；剪枝处理 集成学习： Bagging 与随机森林；Boosting；与 Dropout、MoE 的联系 支持向量机： 函数间隔与几何间隔；最大间隔与支持向量；拉格朗日乘子法与对偶问题；核函数 | slides |
| 4 | 神经网络： 神经元模型；多层感知机；BP 算法 深度学习： 卷积神经网络；注意力机制与 Transformer | slides |
| 5 | 贝叶斯分类器： 贝叶斯决策论；极大似然法；朴素贝叶斯分类器 降维与度量学习： K 近邻学习；低维嵌入；主成分分析；度量学习 | slides |
| 6 | 聚类： 距离度量；性能度量；原型聚类（k-means）；高斯混合聚类 EM 算法： 隐变量与思想；数学推导及流程；高斯混合模型求解；k-means 与 EM 的关系 | slides |
| 7 | 特征选择与稀疏学习： 过滤式选择；包裹式选择；嵌入式选择与 L1 正则化；稀疏表示与字典学习 半监督学习： 未标记样本；生成式方法；半监督 SVM；半监督聚类 | slides |
| 8 | 机器学习前沿： 当年最新科技成果分享，如自监督学习、生成模型、大语言模型 | slides |
注：前沿技术专题可能与前面课时调换顺序，以确保及时介绍最新技术。