神经网络

特征工程与表示学习

CS229：非线性模型与可学习特征

神经元的加权求和

激活函数的形状

修正线性单元（Rectified Linear Unit, ReLU）：$\max(0,z)$。

多层感知机的函数复合

多层感知机（Multilayer Perceptron, MLP）；隐藏层输出作为新特征。

非线性层的作用

异或数据上的网络训练

合成异或（exclusive OR, XOR）数据；背景为当前模型 $p(y=1\mid x)$。

前向计算与损失

反向传播中的链式法则

Rumelhart、Hinton、Williams，1986：反向传播与内部表示

训练循环

卷积中的局部连接与权重共享

卷积神经网络（Convolutional Neural Network, CNN）；示意特征层次。

卷积核的逐位置计算

人工像素矩阵；无填充、步长 1；卷积核为设定值。

LeNet 与 AlexNet

LeCun 等，1998；Krizhevsky 等，2012，Figure 2（原图）

训练结果与泛化评价

监督目标与表示的用途

代表文献

1. Rumelhart, Hinton & Williams (1986). Learning representations by back-propagating errors.
2. LeCun et al. (1998). Gradient-Based Learning Applied to Document Recognition.
3. Krizhevsky, Sutskever & Hinton (2012). ImageNet Classification with Deep Convolutional Neural Networks.
4. Ma et al. CS229 Lecture Notes: Deep Learning.