• <menu id="ywm6y"></menu>
    <input id="ywm6y"></input>
    <menu id="ywm6y"><code id="ywm6y"></code></menu>
    <input id="ywm6y"><acronym id="ywm6y"></acronym></input>
  • <menu id="ywm6y"></menu>
  • <menu id="ywm6y"></menu>
  • <input id="ywm6y"></input>
    <input id="ywm6y"></input>

    Paper | Deep Residual Learning for Image Recognition

    ResNet的意义已经不需要我在这里赘述。该文发表在2016 CVPR,至今(2019.10)已有3万+引用。由于ResNet已经成为大多数论文的baseline,因此我们着重看其训练细节、测试细节以及bottleneck等思想。

    核心:

    We explicitly reformulate the layers as learning residual functions with reference to the layer inputs, instead of learning unreferenced functions.

    性能:在ImageNet数据集上,我们的残差网络是152层——比VGG深8层,但复杂度却更低。

    比赛:赢得了ILSVRC 2015的冠军,囊括分类、定位、检测和分割。

    1. 故事

    最近的文献表明:深度是很重要的。

    但是:

    Is learning better networks as easy as stacking more layers?

    即:我们为了得到更好的网络,不应只是简单地堆砌层。原因是深度网络存在梯度消失/爆炸的问题。

    前人怎么做?正则初始化 和 中间层特征正则化。

    还有一个问题:随着深度增加,网络的性能会逐渐饱和,然后恶化。这不是因为过拟合,因为作者在实验中发现训练误差也很高:

    实验

    作者诞生了一个很惊人的深层网络构造方式【当然也有可能是事后解释,但是也很insightful】:我们在浅层网络的基础上,加入多层恒等映射(identify mapping)。此时网络就变成了深度网络,并且该深度网络的性能至少不低于浅层网络。然而,我们却没有一种方法能够实现这种构造方式。

    进一步,作者就提出了实现这种设想的方式:残差学习block和网络。由于学习的是残差,因此更趋近于学习恒等映射,网络学习起来会更轻松。

    实际上,残差学习在传统方法中是存在的,但用于CNN学习还是第一次。

    2. 残差学习网络

    2.1 残差块

    残差学习

    作者的想法在网络实现上非常简单,如图。短连接没有增加任何参数,并且可以BP。

    同期的还有highway networks,加入了门限来控制短连接。然而门限是有参数的。并且,当门限值接近0时,短连接相当于是断开的。因此,highway network并没有在当网络深度超过100层时,展现出性能加分。

    在实际操作中,作者设置了多个block,在每个block内加入头尾短连接。比如在上图中,一个block内就有两层。注意,第二个ReLU非线性化是在求和以后,如上图

    如果输入和输出的维度不匹配,我们只好对输入作一个线性变换,再求和。

    2.2 ResNet

    如图是ResNet-34和对比网络:

    网络

    值得一提的是:

    • VGG-19有19.6b的FLOPs,而ResNet-34只有3.6b。

    • 其中的降采样是通过步长为2的卷积实现的。

    • 图中虚线连接的头、尾特征图的尺寸就不一样。为了完成短连接,作者考虑了两种方案:(1)多余的补零;(2)短连接时要经过一个projection,即线性变换。

    2.3 细节

    • 在每一次卷积后、非线性激活前,我们采用BN。

    • 优化方法为SGD,mini-batch容量为256。学习率从0.1开始。当误差停滞不下降时,我们将学习率除以10。

    • SGD的weight decay是0.0001,momentum是0.9。

    • 不采用dropout。【因为数据集够大,很难过拟合】

    • 其他变种的配置和FLOPs:

      配置

    3. 实验

    3.1 短连接网络与plain网络

    如图,对于plain网络,加深没有带来收益,反而有害;但对ResNet,加深作用明显:
    实验

    plain network的结果是因为梯度问题吗?作者认为不是,因为plain network也配置了BN。并且作者也确认了梯度没有问题。
    原因未知,作者猜测可能是收敛速率的问题。并且速率是指数型慢,无法通过简单的学习率加倍 或 延长训练时间 得到解决。

    3.2 Projection解决短连接维度不匹配问题

    作者比较了三种方案:(A)补零,这样就不增加参数;(B)维度不匹配的Projection;(C)全部都改成Projection。结果如表:

    结果

    这说明:无论是哪种方法,效果都比plain更好。其中C方案是最好的,但是它引入了最多的参数。作者认为,ABC差距不大,引入参数没有必要。

    3.3 更深的bottleneck结构

    我们为了增加效率,引入了bottleneck结构。但作者指出,这种结构可能会导致和plain一样的恶化问题。

    对于每个block,原本我们只用2层卷积,现在我们用3层:\(1 \times 1 \to 3 \times 3 \to 1 \times 1\),如图:

    bottleneck

    前后的\(1 \times 1\)卷积,是为了先降低通道数,最后再恢复通道数,使得中间卷积操作在较低通道数上运行,节省参数量。

    我们回去观察表1,其中的34层以上的ResNet都含有大量的bottleneck结构。在表3和表4中同样观察了它们的表现,没有发现恶化问题。

    相关文章
    相关标签/搜索
    香港2019年六开彩资料精选 紫阳县| 万荣县| 浑源县| 盱眙县| 天镇县| 凌源市| 民勤县| 梁河县| 新兴县| 神木县| 江源县| 吴忠市| 永福县| 西畴县| 吕梁市| 葫芦岛市| 长治市| 苏尼特右旗| 厦门市| 南开区| 聂荣县| 东光县| 瓦房店市| 堆龙德庆县| 平江县| 广平县| 岳阳市| 盐津县| 广河县| 长兴县| 西乌珠穆沁旗| 汶川县| 察隅县| 星子县| 卫辉市| 佛山市| 平泉县| 秀山| 呼和浩特市| 庄河市| 任丘市| 武功县| 资兴市| 勃利县| 青神县| 洱源县| 哈尔滨市| 北碚区| 万全县| 连南| 邛崃市| 大新县| 固阳县| 湖北省| 高尔夫| 洛扎县| 金山区| 罗平县| 绥中县| 广宗县| 湖北省| 张掖市| 裕民县| 固安县| 兴海县| 从江县| 万安县| 全州县| 黑山县| 山阳县| 乌鲁木齐市| 分宜县| 佛学| 定陶县| 宜君县| 曲沃县| 蛟河市| 合作市| 陇川县| 且末县| 恩平市| 集贤县| 石首市| 衡阳市| 华蓥市| 志丹县| 武义县| 桓台县| 鹤庆县| 固阳县| 杭锦旗| 黄浦区| 盐池县| 八宿县| 富阳市| 潢川县| 亚东县| 邳州市| 渝中区| 洪洞县| 宝应县| 仪征市| 翼城县| 北京市| 巴林右旗| 舒城县| 嘉义县| 都兰县| 临海市| 麟游县| 礼泉县| 民丰县| 新源县| 富阳市| 姜堰市| 葫芦岛市| 保山市| 甘肃省| 合水县| 铜川市| 宁阳县| 伊春市| 唐河县| 元谋县| 吉林市| 尉氏县| 长沙县| 绵阳市| 仪陇县| 襄樊市| 石门县| 定州市| 大新县| 通化县| 新龙县| 黄大仙区| 改则县| 读书| 平顶山市| 怀安县| 财经| 高邮市| 安平县| 伊宁县| 阳西县| 惠来县| 老河口市| 灌阳县| 乌鲁木齐市| 柞水县| 古交市| 凤台县| 聊城市| 靖边县| 鸡东县| 缙云县| 星座| 酉阳| 贵南县| 北海市| 平乡县| 黔西| 华坪县| 双鸭山市| 长乐市| 师宗县| 青海省| 安吉县| 岫岩| 灯塔市| 蒲城县| 安顺市| 百色市| 阿鲁科尔沁旗| 郴州市| 东海县| 万宁市| 改则县| 汤原县| 资源县| 内丘县| 嘉义市| 西城区| 临西县| 无极县| 开远市| 许昌市| 上犹县| 苍南县| 噶尔县| 呼玛县| 万载县| 武定县| 岱山县| 颍上县| 桂东县| 新津县| 比如县| 凤山县| 大关县| 常宁市| 东平县| 武清区| 巫溪县| 寿阳县| 昌宁县| 黎城县| 新余市| 江油市| 南郑县| 太保市| 灵寿县| 潞城市| 永和县| 榆林市| 沁阳市| 育儿| 太仓市| 犍为县| 阿拉善盟| 广宗县| 吉首市| 洛川县| 抚顺市| 苗栗县| 兴仁县| 昌平区| 达州市| 三明市| 门头沟区| 乌拉特中旗| 青海省| 锡林浩特市| 平罗县| 五常市| 宁明县| 麟游县| 佛坪县| 安吉县| 营口市| 昌黎县| 峨山| 和田市| 阳东县| 祁东县| 泗洪县| 仁怀市| 安阳县| 仁怀市| 镇赉县| 自治县| 长白| 师宗县| 屏山县| 通海县| 兴仁县| 古蔺县| 黄冈市| 翼城县| 湄潭县| 民县| 中方县| 河北区| 长葛市| 稻城县| 和硕县| 宁河县| 岱山县| 北宁市| 维西| 长泰县| 黎川县| 岳西县| 繁昌县| 黔南| 东丰县| 水富县| 上蔡县| 新河县| 宣威市| 清徐县| 金乡县| 新源县| 山阴县| 体育| 绥中县| 定西市| 会同县| 鹿邑县| 化德县| 剑河县| 康平县| 乐业县| 富锦市| 吴川市| 八宿县| 会理县| 体育| 奉新县| 佛山市| 玉山县| 寿阳县| 江达县| 台安县| 兴业县| 临江市| 进贤县| 温宿县| 上虞市| 昆明市| 石楼县| 盐山县| 浮山县| 鲁甸县| 垫江县| 宜黄县| 抚远县| 绥中县| 新疆| 泉州市| 阿合奇县| 巴林右旗| 明水县| 金沙县| 临潭县| 巴彦县| 淳安县| 开封县| 临高县| 博客| 常山县| 若羌县| 潞西市| 丰城市| 时尚| 乐亭县| 临高县| 冀州市| 芜湖市| 南华县| 社会| 承德市| 东港市| 清原| 介休市| 南开区| 布尔津县| 马鞍山市| 奎屯市| 六盘水市| 大港区| 海口市| 土默特右旗| 大渡口区| 兴海县| 兴隆县| 武平县| 石棉县| 弥勒县| 盐源县| 沙坪坝区| 章丘市| 泰来县| 喀喇沁旗| 阳江市| 广灵县| 台山市| 鄂伦春自治旗| 莱芜市| 宁河县| 阜南县| 林州市| 甘泉县| 青海省| 鹤壁市| 高淳县| 西吉县| 辰溪县| 五寨县| 上林县| 法库县| 宜昌市| 博白县| 江川县| 钦州市| 哈密市| 景东| 清远市| 濮阳县| 霞浦县| 洪湖市| 阳东县| 乐清市| 调兵山市| 蓬溪县| 蚌埠市| 开平市| 桐庐县| 名山县| 孟村| 襄城县| 桃源县| 齐河县| 嘉定区| 西华县| 沈阳市| 巴彦县| 和平区| 南木林县| 北安市| 米林县| 霸州市| 福安市| 和田县| 龙海市| 清水县| 昌黎县| 夏邑县| 天门市| 绥江县| 宜宾县| 八宿县| 邯郸市| 北票市| 澳门| 开化县| 文山县| 凤阳县| 西乡县| 新巴尔虎左旗| 周至县| 安国市| 新和县| 阿克苏市| 邯郸县| 柳林县| 桐梓县| 长沙县| 乌拉特中旗| 沈阳市| 西畴县| 滁州市| 台东县| 宁津县| 平果县| 阿克陶县| 高台县| 微博| 阿克| 子洲县| 昭平县| 阳山县| 屏山县| 永兴县| 温州市| 类乌齐县| 溧水县| 尼木县| 三明市| 武山县| 东阳市| 万盛区| 晋城| 琼中| 会东县| 陆河县| 新乡市| 大石桥市| 梓潼县| 无棣县| 阳城县| 华池县| 大庆市| 富民县| 普洱| 鞍山市| 高唐县| 普安县| 九龙县| 西和县| 重庆市| 亚东县| 仁寿县| 定结县| 天全县| 丰顺县| 左云县| 蒙自县| 扎鲁特旗| 绵阳市| 娱乐| 五台县| 承德市| 丹阳市| 宜春市| 黎川县| 柳林县| 安泽县| 迭部县| 信宜市| 盐城市| 屏东市| 田林县| 杭州市| 安西县| 芦溪县| 大悟县| 乌鲁木齐市| 云和县| 上蔡县| 淮阳县| 桓台县| 烟台市| 盈江县| 南木林县| 称多县| 兴海县| 合作市| 凤翔县| 绥宁县| 古浪县| 郯城县| 海晏县| 怀宁县| 襄樊市| 洛浦县| 文安县| 商城县| 奉贤区| 睢宁县| 盐池县| 广河县| 台江县| 光山县| 常熟市| 唐山市| 夹江县| 延吉市| 威信县| 葵青区| 石家庄市| 诸城市| 盐源县| 宜兰县| 平塘县| 改则县| 龙门县| 潍坊市| 佛教| 炎陵县| 深泽县| 晋宁县| 辽阳县| 揭东县| 宕昌县| 襄垣县| 遵化市| 东丽区| 沙雅县| 雅江县| 平舆县| 三明市| 玉田县| 彰化市| 河源市| 卫辉市| 台东市| 河池市| 丽江市| 开原市| 焦作市| 绿春县| 福泉市| 微博| 普宁市| 芦溪县| 潜山县| 山东省| 满洲里市| 陇南市| 汨罗市| 舟山市| 加查县| 临邑县| 明星| 石林| 壤塘县| 黔东| 镇原县| 西青区| 金秀| 稻城县| 浠水县| 文登市| 浮山县| 嘉义市| 宜州市| 娄烦县| 江口县| 鸡东县| 荣昌县| 宁河县| 黑河市| 淄博市| 织金县| 呼图壁县| 密山市| 祁门县| 巍山| 衡阳市| 浦江县| 达拉特旗| 深州市| 望城县| 恭城| http://m.jx1870bluev.fun http://wap.jx1870earnv.fun http://m.jx1870confirzv.fun http://jx1870averagev.fun http://3g.jx1870developv.fun http://jx1870arzv.fun http://m.jx1870colourv.fun http://wap.jx1870echov.fun http://3g.jx1870branchv.fun http://wap.jx1870deterzinev.fun http://wap.jx1870ezptyv.fun http://3g.jx1870diev.fun http://3g.jx1870cozzentv.fun http://wap.jx1870buttonv.fun http://m.jx1870branchv.fun http://3g.jx1870cablev.fun http://wap.jx1870askv.fun http://wap.jx1870echov.fun