rss 推荐阅读 wap

52科技网_互联网科技资讯免费分享网站

热门关键词:  xxx  as  test  www.tcwdyb.com  人工智能与法
首页 科技 云计算 软件 物联网 硬件 通信 智能 数码 大数据 资讯

MIT韩松组推出升级版AutoML方式一个收集适配所有硬件

发布时间:2019-10-09 已有: 人阅读

  人工智能模子需要一个“全能模板”,能够针对分歧的硬件从动进行适配,而工为分歧硬件进行定制。

  全能,何等让动的一个词。人类老是逃求一个放之四海而皆准的处理方案,一劳永逸的处理所有问题。

  开初,人工智能模子能够针对分歧硬件进行定制,从而达到很是好的机能表示。可是电子产物根基上每年至多更新一代,旧有的硬件产物却不会紧接着被裁减。5年前的iPhone 6s仍然有多量利用者,和具有神经收集加快器的iPhone X Max并存于世。

  人工智能模子需要一个“全能模板”,能够针对分歧的硬件从动进行适配,而工为分歧硬件进行定制。

  目前比力风行的做法,要么手动设想,要么利用AutoML来特地的神经收集,并针对每种环境从头起头锻炼,错误谬误很较着,贵,且麻烦。

  这种基于进修的压缩策略优于保守的基于法则的压缩策略,具有更高的压缩比,正在更好地连结精确性的同时节流了人力。

  本年,韩松团队再次提出一劳永逸OFA(Once for All),这是一种将模子锻炼取架构分手的新方式,用于高效的神经收集设想,以处置很多摆设场景。

  具体的实现道理是如许:研究人员起首将方针定义为获得收集的权沉,从而使得每个子网仍然能够达到取利用不异架构设置装备摆设(深度,宽度,内核大小和分辩率)锻炼的收集不异的精确度。

  比拟现有的收集,OFA收集实现了一项严沉立异:让AI间接最佳子网成为可能,从此研究人员不需要为每个场景设想和锻炼模子。取ImageNet上最先辈的AutoML方式达到不异或更高的程度精度,锻炼时间显著加速,支撑更大的空间(10^19子网)。

  为了更无效的锻炼一个庞大的的OFA收集,防止很多子收集之间的干扰,研究人员提出了一种渐进式收缩算法,该算法可以或许锻炼一次性收集以支撑跨越10^19个子收集,同时连结取锻炼的收集不异的精度,从而节流非经常性工程(NRE)成本。

  正在各类硬件平台(挪动/CPU/GPU)和效率上的普遍尝试表白,OFA一直达到取SOTA神经架构(NAS)方式不异(或更好)的ImageNet精度。

  值得留意的是,正在处置多个摆设方案时,OFA比NAS快几个数量级(N)。N=40时,OFA所需GPU小时数比ProxylessNAS少14倍,GPU小时数比FBNet少16倍,GPU小时数比MnasNet少1,142倍。摆设方案越多,对NAS的节流就越多。

  取采用算法查找子网的大大都AutoML方式分歧,研究人员从OFA收集中随机抽取子网的子集来建立其精确性和延迟表。这使他们可以或许正在给定特定硬件平台的环境下间接查询表以找到响应的子网。查询表的成天性够忽略不计,从而避免了其他方式中总成本的线性增加。

  但所有的“全能”产物都有一个通病,那就是成本高,OFA一次性锻炼成本大约是定制模子的12倍。不外研究人员暗示,通过额外的摆设方案能够降低这种昂扬的一次性成本。

  正如托尔金巨著指环王中,魔戒后背蚀刻的铭文一样:“一个戒指他们,一个戒指找到他们,一个戒指把他们全数和绑正在绑正在暗影所正在的魔多。”

  智能+中国的资讯社交平台,努力于鞭策中国从互联网+迈向智能+新。沉点关心人工智能、机械人、大数据、虚拟现实、量子计较、智能医疗等前沿范畴成长,关心人机融合、人工智能和机械人对人类社会取文明进化的影响,领航中国新智能时代。

最火资讯

首页 | 科技 | 云计算 | 软件 | 物联网 | 硬件 | 通信 | 智能 | 数码 | 大数据 |免责声明

2012-2028 52科技网(www.xmok520.cn)版权所有 Power by DedeCms

电脑版 | wap |