深度学习是由在计算机上模拟人类神经回路的神经元网络技术发展而来。
深度学习与传统的神经网络的相同之处在于采用了相似的分层结构，而深度学习采用了与神经网络不同的训练机制。传统神经网络采用反向传播的方式进行。反向传播易导致梯度消失问题，所以深度学习整体上采用了分层计算的训练机制。目前，深度学习的主要方法大致可分为无监督学习、有监督学习两大类。

（一） 无监督学习
1. 受限玻尔兹曼机（RBM）
受限玻尔兹曼机（RBM，Restricted Boltzmann Machine）包含两个层，可见层及隐藏层。神经元之间层内无连接，层间全连接。可见层单元用来描述观察数据的一个方面或一个特征，而隐藏层单元的意义一般来说不明确。RBM和BM的不同之处在于RBM要求层内神经元之间没有连接，而后者允许层内神经元之间有连接。
RBM实际上是在做关于哪些输入特征是重要的以及如何将它们组合以形成模式的决定。RBM可以自动重建输入。首先，使用正向传递，每个输入与单独的权重和总偏差组合，并且结果被传递给隐藏层。接下来，在反向过程中，每个激活与单独的权重和总偏差组合，并且结果被传递到可见层以用于重建。 之后，在可见层，使用KL散度将重建与原始输入进行比较以确定结果的质量。重复这几步，直到输入和重建尽可能接近。它可以被用来处理没有类别标签的数据。
2. 深度置信网络（DBN）
深度置信网络（DBN，Deep Belief Network）由RBM堆叠而成，时间复杂度与网络的大小和深度呈线性关系。DBN的结构与多层神经网络相似，都具有输入层、输出层及多个隐层。然而它们的训练却不一样。
DBN训练如下：一，训练第一个RBM以尽可能准确地重构其输入。二，第一个RBM的隐藏层被视为第二个RBM的可见层，并且使用来自第一个RBM的输出来训练第二个RBM。 三，重复该过程，直到网络中的每一层都被训练。
DBN作为一个解决梯度消失问题的有效方法，可以有效使用未标签的数据集，与浅层网络相比，准确度也更高。并且训练过程可以在合理的时间内完成，对于过拟合问题，也可以通过预训练的方法有效解决。
（二）有监督学习
1. 卷积神经网络（CNN）
卷积神经网络（Convolutional Neural Networks，CNN）是受生物学上感受野的影响而提出的。CNN被大量用于检测、分割、物体识别以及图像识别的各个领域，如交通信号识别，生物信息分割，面部探测，文本、行人探测等，最近几年，CNN在人脸识别领域更是取得了巨大的成功。
它的每个模块都是由卷积层（Convolutional Layer）和池化层（Pooling Layer）组成，这些模块通常是逐个叠加的。卷积层的作用是提取图像的各种特征，池化层的作用是对原始特征信号进行抽象。池化层把相似的特征进行合并，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数，减轻模型过拟合程度，降低了网络参数选择的复杂度。
CNN有四个关键特性：局部连接，权重共享，池化以及多网络层的使用。
（1）局部感知：图像中局部的像素联系较为紧密，距离较远的像素相关性较弱。因此每个神经元只需要对局部进行感知，然后在更高层将局部的信息综合起来得到全局的信息。
（2）参数共享：图像的一部分的统计特性与其他部分是一样的。可以把某部分的参数应用到其他部分。
（3）池化：用所有提取得到的特征去训练分类器，计算量大且容易过拟合。而一个图像区域有用的特征极有可能在另一个区域同样适用。因此可以对不同位置的特征进行聚合统计，即池化。
（4）多层的使用：一层卷积学到的特征往往是局部的，层数越高，学到的特征就越全局化。
2. 递归神经网络（RNN）
递归神经网络（Recurrent Neural Networks，RNN）的每层的神经元之间是有向连接的，即神经元间连接构成有向图。利用这样的结构，RNN将状态在自身网络中循环传递，因此可以处理更广泛的时间序列数据。RNN一次处理一个输入序列元素，同时维护网络隐藏层中包含过去时间序列数据的历史信息的“状态向量”。一个序列当前的输出与之前的输出也有关。网络会对前面的信息进行记忆并应用于当前输出的计算中，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。目前，RNN已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。