请停止无效努力-读书简记 麦肯基疗法-读书简记 跟简七学理财-课程简记 指数基金投资指南(2017中信版)-读书简记 指数基金投资指南(2015雪球版)-读书简记 让大脑自由:释放天赋的12条定律-读书简记 养育的选择-读书简记 GPU高性能编程CUDA实战-读书简记 百万富翁快车道-读书简记 原则-读书简记 穷查理宝典-读书简记 C++并发编程实战-读书简记 哲学家们都干了些什么-读书简记 Effective C++-读书简记 通往财富自由之路-读书简记 Linux命令行与Shell脚本编程大全-读书简记 刻意练习-读书简记 写给大家看的设计书-读书简记 习惯的力量-读书简记 好好学习-读书简记 硅谷最受欢迎的情商课-读书简记 富爸爸,穷爸爸-读书简记 如何说孩子才会听,怎么听孩子才会说-读书简记 阻力最小之路-读书简记 ProGit-读书简记 思考:快与慢-读书简记 C语言深度剖析-读书简记 编程珠玑-读书简记 Head First 设计模式-读书简记 反脆弱-读书简记 我的阅读书单 小强升职记-读书简记 观呼吸-读书简记 黑客与画家-读书简记 晨间日记的奇迹-读书简记 如何高效学习-读书简记 即兴的智慧-读书简记 精力管理-读书简记 C++编程思想-读书简记 拖延心理学-读书简记 自控力-读书简记 伟大是熬出来的-读书简记 生命不能承受之轻-读书简记 高效能人士的七个习惯-读书简记 没有任何借口-读书简记 一分钟的你自己-读书简记 人生不设限-读书简记 暗时间-读书简记

DenseNet-论文简记

2018年01月04日

写在前面


本篇主要介绍CVPR 2017最佳论文:《Densely Connected Convolutional Networks》,主要整理自参考文献[1-3]。

随着网络结构的加深,梯度与信息消失现象也就越明显。为了解决这一问题,人们设计出ResNet,Highway Network,FractalNets等。这些网络结构都有一个共同的特点:在每一层与之后的层之间建立捷径来缓解梯度消失这种现象。但是这样也会带来一些问题:巨量的网络参数,网络结构的利用率不高(一些层被有选择地Drop掉了)。鉴于此,DenseNet作者提出了这种新的网络结构,利用当前层与后面层的连结(Concatenate)使得每一层的信息得到充分的利用,缓解了梯度消失的同时,极大地减少了参数。

技术要点


一、让网络中的每一层都直接与其前面层相连,实现特征的重复利用;

二、同时把网络的每一层设计得特别「窄」,即只学习非常少的特征图(最极端情况就是每一层只学习一个特征图),达到降低冗余性的目的。

网络结构


一、网络整体结构图表

网络整体结构图示如下。其中第一幅图是一个5层的Dense Block示意图,生长率(Grow Rate)k=4;第二幅图是含有是三个Dense Blocks的DenseNet示意图;第三个表展示了ImageNet上DenseNet的结构,表中素有网络的生长率都为k=32,每一个Conv层都对应着BN-ReLU-Conv。

二、结构中的一些概念细节

1 紧密连接(Dense Connectivity)

在DenseNet结构中,讲每一层的输出都导入后面的所有层,与ResNet的相加不同的是,DenseNet结构使用的是连结结构(Concatenate)。这样的结构可以减少网络参数,避免ResNet中可能出现的缺点(例如某些层被选择性丢弃,信息阻塞等)。

2 组成函数(Composite Function)

使用Batch Normalization + ReLU + 3*3 Conv层作为组成函数。

3 过渡层(Transition Layer)

过渡层包含瓶颈层(Bottleneck layer,即1*1卷积层)和池化层。

1)瓶颈层

1*1的卷积层用于压缩参数。每一层输出k个Feature Maps,理论上将每个Dense Block输出为4k个Feature Maps,然而实际情况中会大于这个数字。卷积层的作用是将一个Dense Block的参数压缩到4k个。

2)池化层

由于采用了Dense Connectivity结构,直接在各个层之间加入池化层是不可行的,因此采用的是Dense Block组合的方式,在各个Dense Block之间加入卷积层和池化层。

4 增长率(Growth Rate)

这里的增长率代表的是每一层输出的Feature Maps的厚度。ResNet,GoogleNet等网络结构中经常能见到输出厚度为上百个,其目的主要是为了提取不同的特征。但是由于DenseNet中每一层都能直接为后面网络所用,所以k被限制在一个很小的数值。

5 压缩(Compression)

跟1*1卷积层作用类似,压缩参数。作者选择压缩率(theta)为0.5。包含Bottleneck Layer的叫DenseNet-B,包含压缩层的叫DenseNet-C,两者都包含的叫DenseNet-BC。

代码


作者公开的源码和训练的模型在这里,含有PyTorch,Caffe,Tensorflow,Keras,MXNet等各种深度学习开源平台下的实现。

参考文献


[1] DenseNet, Densely Connected Convolutional Networks.

[2] CVPR 2017最佳论文作者解读:DenseNet 的“What”、“Why”和“How”|CVPR 2017.

[3] Densely Connected Convolutional Networks论文阅读.


版权声明:本文为博主原创文章,转载请注明出处 本文总阅读量    次