卷积神经网络的前世今生
Hubel and Wiesel
卷积神经网络（Convolutional Neural Networks，CNN）的发展可以追溯到20世纪50年代和60年代，对猫视皮层的研究。
Hubel和Wiesel在20世纪50年代和60年代对猫的视皮层进行了实验。他们将猫麻醉，在猫的初级视皮层上接入电极，然后在猫的前方放置投射了光隙幕布。
随着改变投射在幕布上光隙的角度，用电极记录神经元的发放。他们发现当光隙处于某个空间方位角度时，发放最为强烈。而且不同的神经元对不同空间方位的偏好不尽相同。
他们将这种神经元称为简单细胞。初级视皮层里另外的那些神经元，叫做复杂细胞。
根据感受野复杂性的不同，Hubel 和 Wiesel 将视皮层细胞分为简单细胞和复杂细胞。
简单细胞响应特定方向的光隙。复杂细胞也会响应特定方向的光隙，但它与简单细胞的不同之处在于，这些光隙可以在场景中移动，并且细胞仍将响应。
例如，简单细胞可能仅响应图像底部的光隙，而复杂细胞可以响应图像底部、中间或顶部的光隙。复杂细胞的这种特性被称为”空间不变性”。
Hubel 和 Wiesel 得出的结论是，这些复杂细胞很可能接收几个简单细胞的输出，通过对来自多个简单细胞的信息求和来实现这种能力。
简单的信息在前面提取，然后逐渐形成高层次的抽象信息，视觉皮层通过这种层次结构来处理信息。这样的层级结构启发了后来的卷积神经网络。
Neocognitron
20世纪80年代，在 Hubel 和 Wiesel 的简单细胞和复杂细胞方面工作的启发下，福岛邦彦提出了 Neocognitron 模型。
它包含两种主要细胞类型，即以简单细胞命名的 S 细胞和以复杂细胞命名的 C 细胞。
S 细胞对应简单细胞或低阶超复杂细胞。C 细胞对应复杂细胞或更高级的超复杂细胞。 这两种细胞并非生物细胞，而是数学运算。
Neocognitron 由多个模块级联而成，每个模块由一层 S 细胞和一层 C 细胞组成。S 细胞充当特征提取细胞，C 细胞接收多个 S 细胞的响应。
在代表初级视觉皮层基本计算的一层简单细胞和复杂细胞之后，Neocognitron 重复这个过程。
经过多次重复，创建出一个层级结构的模型。Neocognitron 通过无师自通的方式完成自组织，即反复向它呈现一组刺激模式，它就会逐渐获得识别这些模式的能力。
自组织完成后，网络获得类似于 Hubel 和 Wiesel（1962，1965）提出的视觉神经系统层次模型的结构。福岛邦彦提出的 Neocognitron 能够不受位置移动或刺激模式形状小变形的影响，识别刺激模式。
LeNet-5
CNN 的现代形式是由 Yann LeCun 在 1998 年的论文 “Gradient-Based Learning Applied to Document Recognition” 中提出的，这篇论文中提出的 LeNet-5，将 BP 算法应用到神经网络结构的训练上，形成了当代卷积神经网络的雏形。
受约束的反向传播是该算法成功的关键，它大大减少了自由参数的数量，提高了神经网络的泛化能力。
LeNet-5 消除了对手动特征工程的需求，通过卷积层、下采样和全连接层直接处理像素图像。网络直接通过图像而不是特征向量来进行学习的，从而证明了反向传播网络处理大量低级信息的能力。
LeNet-5 开发了各种应用于手写字符识别的方法，并与标准手写数字识别基准进行了比较。结果表明，卷积神经网络优于所有其他模型。
此后，CNN的发展进入了一个新的阶段，特别是在2012年，AlexNet网络的出现，使得神经网络开始崭露头角。
在Imagenet图像识别大赛中，Hinton组的论文 “ImageNet Classification with Deep Convolutional Neural Networks” 中提到的 AlexNet 引入了全新的深层结构和 dropout 方法，一下子把错误率从25%以上降低到了15%，一举颠覆了图像识别领域。
此后，卷积神经网络在各个领域广泛应用，并在很多问题上都取得了最好的性能。
References
[1] 必读论文 | 卷积神经网络百篇经典论文推荐
[2] Rachel Draeos, The History of Convolutional Neural Networks
[3] Lindsay, Grace W. “Convolutional neural networks as a model of the visual system: Past, present, and future.” Journal of cognitive neuroscience 33.10 (2021): 2017-2031.
[4] Bhiksha Raj，Convolutiohnal Networks II
[5] Lunarnai, CNN简史
[6] Fukushima, Kunihiko. “Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position.” Biological cybernetics 36.4 (1980): 193-202.
[7] Fukushima, Kunihiko. “Artificial vision by multi-layered neural networks: Neocognitron and its advances.” Neural networks 37 (2013): 103-119.