【科普系列】深度学习  Part 1

【导读】“深度学习”作为当下最火的名词，相信每个人都不陌生。然而，这个名词背后所代表的意义，又有多少人完全了解呢？从这次推送开始，我们为大家推出系列科普干货之——深度学习。

什么是深度学习？实际上它是一种特殊的神经网络。因此，今天，我们首先梳理一下从神经网络到深度学习的发展历程。

20世纪四十年代，一个简单的M-P模型，成功模拟了生物神经元的工作原理，由此开启了神经网络世界的大门。在M-P模型中输入多个参数，通过叠加及其它相应处理，依据激活函数和阈值水平，最终决定输出的参数。

之后不久，Rosenblatt等就提出了由两层神经元组成的感知机（Perceptron）模型。第一层为输入神经元，负责接收信号并传递给输出层；第二层就是输出神经元了，职责是将输入神经元传来的信号通过激活函数进行处理。

感知机是最简单的神经网络模型，它可以解决线性可分的问题，而它的局限性就在于，它只能解决线性可分的问题。在当时，多层感知机网络的设想受到计算能力的限制而无法实现，致使神经网络的发展陷入了短暂的低潮期。但是低潮期之后，却出现了百花齐放的状态。我们通过一个时间轴来概述一下这十多年的发展事迹。

到了90年代，随着计算能力的大幅提高，模型的参数在不断增加，模型的复杂程度也随之上升。神经网络也逐渐通过增加隐含层从而增加模型参数，以此提升模型的复杂度。不断增加的隐含层让神经网络的模型愈发“深”起来，由此，深度学习的模型，也可以看做是具有多个隐含层的神经网络。而深度学习的另一个技术提高点在于摒弃了传统的人工特征工程，通过自动抽取数据特征，输入下一层继续进行训练和计算。

而在这段期间，深度学习领域取得了诸多成就：

硬件、计算能力等基础条件的发展，推动了多层神经网络模型的训练得以实现。但是当时的研究者却逐渐发现，由于他们难以完全解决训练过程中的梯度消散，陷入局部最优等问题，导致训练效果大打折扣。而同一时期强势崛起的统计学习理论（Statistical Learning Theory）大幅度挤占了神经网络的研究空间。

而到了2006年，这被我们成为深度学习元年的一年，Hinton发表了名为《Reducing the Dimensionality ofData with Neural Networks》的文章，提出了深度信念网络（DBN）。这是一种基于受限玻尔兹曼机的网络，通过采用逐层训练的方法解决了神经网络训练困难的问题，并采用无监督的贪心逐层训练曾列，让训练的参数量大大减少，从而减轻了训练的负担。

2012年，则是深度学习真正大放异彩的一年。先是Hinton的学生Alex Krizhevsky使用了一种卷积神经网络Alex Net，打败了Google等强劲的对手；接着是Google Brian项目训练出的一种深度神经网络（Deep NeuralNetwork），在几万张不同物体的图片中准确识别出了一张猫的照片，并给照片贴上了正确的标签。

两年之后，由李菲菲教授领导的Facebook DeepFace项目在人脸识别的任务中准确率高达97.25%，使人颇为惊叹。紧接着的2016年，就是大家所熟知的Alpha Go了，由Google的DeepMind团队开发的基于深度学习的Alpha Go，在围棋比赛中大胜韩国九段选手李世石。

至此，深度学习这个名词，家喻户晓。