您的位置: 主页 > Q蕙生活 >Google Brain 用强化学习为行动装置量身订做最好最快的 CNN 模型 >

Google Brain 用强化学习为行动装置量身订做最好最快的 CNN 模型

发布时间:2020-06-07
Google Brain 用强化学习为行动装置量身订做最好最快的 CNN 模型

卷积神经网路(CNN)广泛用于影像分类、人脸辨识、物体侦测及其他工作。然而,为行动装置设计 CNN 模型是个大挑战,因行动模型需要又小又快,同时还要保持足够的準确率。虽然研究人员花了非常多时间精力在行动模型的设计和改良,做出 MobileNet 和 MobileNetV2 这类成果,但人工设计高效模型始终很有难度,其中有许多可能性需要考虑。

受 AutoML 神经网路架构搜寻研究的启发,Google Brain 团队开始考虑能否透过 AutoML 的力量让行动装置 CNN 模型设计也更进一步。Google AI 部落格的新文章,介绍了用 AutoML 思路为行动装置找到更好网路架构的研究成果,以下为文章编译。

Google 论文《MnasNet: Platform-Aware Neural Architecture Search for Mobile》中,尝试了一种基于强化学习範式的自动神经网路架构搜寻方法来设计行动模型。为了应付行动装置的执行速度限制,Google Brain 研究人员专门把执行速度资讯也加入搜寻演算法的主回馈函数,这样搜到的模型就是可在执行速度和辨识準确率之间取得良好平衡的模型。透过这种方法,MnasNet 找到的模型比目前顶级人工设计模型 MobileNetV2 快 1.5 倍,比 NASNet 快 2.4 倍,同时还保持同样的 ImageNet 首位準确率。

以往的网路架构搜寻方法中,模型的执行速度通常借助另一种指标参考(比如考虑装置的每秒运算数目),而 Google Brain 此次透过在给定的装置上执行模型,直接测量模型的执行时间长短;研究使用的就是自家 Pixel 手机,可直接测量模型在真实环境执行时的具体表现,尤其不同型号的行动装置有不同的软硬体属性,仅凭运算速度这项指标无法概括全部情况;为了达到準确率和执行速度之间的最佳平衡,所需的模型架构也有不同。

Google Brain 方法的总体流程主要由 3 个部分组成:一个基于 RNN 的控制器用于学习模型架构并取样,一个训练器用于构建模型并训练模型得到準确率,还有一个推理引擎,会在真实手机上透过 TensorFlow Lite 执行模型、测量模型的执行速度。他们把工作公式化为一个多目标最佳化问题,最佳化过程中得以兼顾高準确率和高执行速度;使用的强化学习演算法有个自订回馈函数,可在不断探索时找到帕累托最优的解决方案(如不断提升模型準确率,同时不让执行速度降低)。

Google Brain 用强化学习为行动装置量身订做最好最快的 CNN 模型

 为行动装置自动搜寻神经网路架构的总体流程图。

对网路架构搜寻过程,为了在搜寻弹性和空间大小之间取得平衡,Google Brain 研究人员提出一种新的因子分解层级化搜寻空间,设计是把一整个卷积网路分解为一系列按顺序连线的模组,然后用一个层级化搜寻空间决定每个模组的层架构,这样设计的搜寻流程可允许不同层使用不同作业和连线方式。同时也强制要求同个模组的所有层都共用同种架构,相比普通的每层独立搜寻架构,这样就把搜寻空间显着减小数个等级。

Google Brain 用强化学习为行动装置量身订做最好最快的 CNN 模型

 从新因子分解层级化搜寻空间取样得到的 MnasNet 网路,整个网路架构可有多种不同层。

Google Brain 研究人员在 ImageNet 影像分类和 COCO 物体侦测工作测试这种方法的效果。实验中,这种方法找到的网路在典型行动装置计算速度限制下达到準确率新高纪录。下图展示了 ImageNet 的结果。

Google Brain 用强化学习为行动装置量身订做最好最快的 CNN 模型

 ImageNet 的首位準确率与推理延迟对比。论文新方法找到的模型记号为 MnasNet。

在 ImageNet,如果要达到同样準确率,MnasNet 模型可比目前顶级人工设计的模型 MobileNetV2 快 1.5 倍,比 NASNet 快 2.4 倍,其中 NASNet 也是用网路架构搜寻找到的。採用「压缩─激励」(squeeze-and-excitation)最佳化后,Google 新的 MnasNet + SE 模型首位準确率可达 76.1%,这已达 ResNet-50 水準,但却比 ResNet-50 的参数少了 19 倍,乘─加的计算运算目也减少了 10 倍。在 COCO,Google 的模型系列可同时在準确率和执行速度领先 MobileNet,準确率与 SSD300 模型相当,但所需计算量少了 35 倍。

Google Brain 研究人员很高兴看到自动搜寻得到的模型可在多个複杂的行动电脑视觉工作取得顶级成绩。未来他们计划在搜寻空间整合更多作业和最佳化方法供用户选择,也尝试应用到语义分割等更多行动电脑视觉工作。

猜你喜欢

推荐阅读

《央广》台湾文学外译 吴晟诗文出版越南文本
《央广》台湾文学外译 吴晟诗文出版越南文本
国立台湾文学馆推动「台湾文学外译─东南亚语种译本计画」,这次选定台湾着名诗人及散文家吴晟的作品,并挑选与土地、环境议题相关的诗文,翻译为越南文本出版,同时发行中越文对照版,期盼促进双边更多的文学交流。吴晟:『(朗诵音)孩子呀!阿爸也没有怨言,只因这是生命中最沉重,也是最甜蜜的负荷。』台湾作家吴晟正朗诵他的作品「甜蜜的负荷」。国立台湾文学馆精选吴晟的诗与文各 15 篇,出版《甜蜜的负荷─吴晟诗文双重

《央广》台湾文学外译 吴晟诗文出版越南文本

影视奇趣

2020-06-10 18:18
《央广》台湾灯会奖不完!艺术灯区主灯「帆城」又得奖
《央广》台湾灯会奖不完!艺术灯区主灯「帆城」又得奖
台湾灯会史上第一次,台湾灯会艺术灯区作品「帆城」继之前义大利 Adesign 设计大奖后,又得到德国红点品牌及传达设计大奖,让屏东再次在国际发光。屏东县政府文化处长吴明荣表示,这次灯会艺术灯区的作品突破以往设计,强调在地性和故事性,带来视觉惊喜与想像。「帆城」是由擅长应用传统工艺的年轻艺术家范承宗创作,代表县府参加义大利及德国设计大赛获得国际评审青睐,接连获奖,展现屏东的文化能量,再创台湾骄傲。德

《央广》台湾灯会奖不完!艺术灯区主灯「帆城」又得奖

科技要性

2020-06-10 18:18
《央广》台湾音乐新页 「三个人」乐团登上日本国立科博馆演奏
《央广》台湾音乐新页 「三个人」乐团登上日本国立科博馆演奏
来自台湾三位年轻演奏家郭岷勤、潘宜彤及任重组成的创作型室内乐「三个人」乐团,将于 4 月 11 日晚上在东京上野的国立科学博物馆日本馆讲堂里,用台湾传统乐器的筝、中阮及笛箫,演奏出世界独有、而且是他们独创的的丝竹室内乐,也将为「东京・春・音乐祭」凭添绝妙而非常不同声响,将以乐来与日本人相会交友。这次的演出也是台湾人首次在日本国立科学博物馆的演出,尤其日本馆是历史悠久的名建筑,现在是作为「旧东京科学

《央广》台湾音乐新页 「三个人」乐团登上日本国立科博馆演奏

科技要性

2020-06-10 18:18
《央广》台湾首支末日动画「芽」 反思社造议题
《央广》台湾首支末日动画「芽」 反思社造议题
说故事、推销理念的方法有很多种,台南生活美学馆今年在文化部挹注千万新台币的支持下,首度透过招标,结合专业动画公司製作台湾首支末日动画片「芽」,盼唤醒大家对社区议题的重视与反思。当末日来临,仅存的人们紧抱着唯一的一株植物,寻找重生的希望。这支名为「芽」的动画片,是由曾获金钟奖最佳动画节目奖的冉色斯动画公司製作拍摄,经费高达新台币 1 千多万,主要是配合文化部所属台南生活美学馆推动「社区营造影音平台计

《央广》台湾首支末日动画「芽」 反思社造议题

影视奇趣

2020-06-10 18:18
《央广》台越签署合作备忘录 共同推动艺文交流
《央广》台越签署合作备忘录 共同推动艺文交流
财团法人台湾亚洲交流基金会、财团法人国家文化艺术基金会与越南文化、体育和旅游部(Ministry of Culture, Sports and Tourism)下设「越南当代艺术文化研究院」近日(VICAS)签署三边合作备忘录,宣布展开第一期五年合作计画。本次合作由台亚基金会萧新煌董事长、国艺会林曼丽董事长以及 VICAS 裴怀山(Bui Hoai Son)院长共同促成,未来三方将携手办理「台-越

《央广》台越签署合作备忘录 共同推动艺文交流

科技要性

2020-06-10 18:18
《央广》台铁珍贵车辆普查 为铁道博物馆典藏奠定基础
《央广》台铁珍贵车辆普查 为铁道博物馆典藏奠定基础
文化部 23 日举办「台北机厂珍贵车辆资源研究调查计画」成果发表会,初步普选出台铁现存 100 种不同形式铁道车辆,为后续相关研究、保存与与调查奠定基础,并提供未来铁道博物馆车辆展示建议。文化部去年开始推动国定古蹟台北机厂铁道博物馆筹备工作,并委託台湾师範大学地理学系同步展开「台北机厂珍贵车辆资源研究调查计画」,经果一年的普查,初步整理出现存台铁 1,067 mm轨距共 100 种不同形式的珍贵铁

《央广》台铁珍贵车辆普查 为铁道博物馆典藏奠定基础

探险引领

2020-06-10 18:18
相关推荐