卷积神经网络

图像识别问题和数据集

计算机视觉中有哪些问题？典型问题：经典数据集。

在 2012 年的 ILSVRC 比赛中 Hinton 的学生 Alex Krizhevsky 使用深度卷积神经网络模型 AlexNet 以显著的优势赢得了比赛，top-5 的错误率降低至了 16.4% ，相比第二名的成绩 26.2% 错误率有了巨大的提升。AlexNet 再一次吸引了广大研究人员对于卷积神经网络的兴趣，激发了卷积神经网络在研究和工业中更为广泛的应用。现在基于卷积神经网络计算机视觉还广泛的应用于医学图像处理，人脸识别，自动驾驶等领域。越来越多的人开始了解卷积神经网络相关的技术，并且希望学习和掌握相关技术。因为卷积神经网络需要大量的标记数据集，有一些经典的数据集可以用来学习，同时解决一些常见的计算机视觉问题。

• 卷积神经网络的具体应用，经典数据集。

比如最常用的 mnist 手写数字数据集，这个数据集有 60000个训练样本，10000个测试样本；cfair 10 数据集包含 60000 个 32x32 像素 的彩色图片，它们分别属于 10 个类别，每一个类别有 6000 个图片，其中 50000 个作为训练集，10000个作为测试集。

• 卷积神经网络在这些应用上取得的成果。

针对 mnist 手写数字数据集，现在已经达到了 99% 以上的识别率，在稍后的学习中，也会实现一个准确率达到 99% 以上的模型。

卷积神经网络简介

卷积神经网络是什么，以及卷积神经网络将如何解决计算机视觉的相关问题。

图像数据集的特点，对于神经网络的设计提出了一些新的挑战。

维度比较高

因为图像的维度普遍比较高，例如 MNIST 数据集，每一个图片是 28 * 28 的图片。

如果直接用神经网络，假设采用2个 1000个神经元的隐藏层加 1 个10个神经元的隐藏层，最后使用 softmax 分类层，输出 10 个数字对应的概率。

参数的数量有：

786 * 1000 * 1000 * 10

如果是更大一点的图片，网络的规模还会进一步快速的增长。为了应对这种问题， Yann LeCun 在贝尔实验室做研究员的时候提出了卷积网络技术，并展示如何使用它来大幅度提高手写识别能力。接下来将介绍卷积和池化以及卷积神经网络。

卷积介绍

我们尝试用一个简单的神经网络，来探讨如何解决这个问题。假设有4个输入节点和4个隐藏层节点的神经网络，如图所示：

图1  全连接神经网络

每一个输入节点都要和隐藏层的 4 个节点连接，每一个连接需要一个权重参数 w：

图2 一个输入节点向下一层传播

相应的每一个隐藏层节点，都会接收所有输入层节点：

图3 每个隐藏层节点接收所有输入层节点输入

因为神经网络中的参数过多，会造成训练中的困难，所以降低神经网络中参数的规模，是图像处理问题中的一个重要问题。

有两个思路可以进行尝试：

1.隐藏层的节点并不需要连接所有输入层节点，而只需要连接部分输入层。

如图所示：

图4 改为局部连接之后的网络结构

2.局部连接的权重参数，如果可以共享，那么网络中参数规模又会明显的下降。如果把局部连接的权重参数当做是一个特征提取器的话，可以尝试将这个特征提取器用在其他的地方。

那么这个网络最后只需要 2 个参数，就可以完成输入层节点和隐藏层节点的连接。

这两个思路就是卷积神经网络中的稀疏交互和权值共享，下一篇文章将会详细讲解以及使用 TensorFlow 实现。