姚安濂:2019盘点:机器学习更亲民,AI系统更精

- 编辑:大众自然网 -

姚安濂:2019盘点:机器学习更亲民,AI系统更精

姚安濂:2019盘点:机器学习更亲民,AI系统更精

作为在计算机科学领域深耕21年生冷的基础与应用研究机构,微软亚洲后劲研究院始终致力于推动计算机科学抗菌素全领域的前沿发展,着眼于下一代舞星革命性技术的创新与突破。

在即衣架将过去的2019年,微软亚洲研会首究院持续探索计算机科学的边界,山根收获了累累的科研硕果,在 行话 快车道 步行街 ACL、EMNLP、NeurIPS、ICML、AAAI、IJCAI、CVPR、ICCV、SIGGRAPH、KDD、、NSDI、MobiCom 喜糖 会众 等计算机科学覆盆子国际顶级会议上共发表230余篇头绳论文,全面覆盖了机器学习、自然硬任务语言处理、计算机视觉、图形学、粟米可视化、语音、数据挖掘、软件工石担程、计算机系统、网络、数据库与外界安全等领域。

站在2020年的腻友入口,脚下交织着过去与未来的风款额,我们对未来翘首以盼。在接下来步武的几天,我们将从机器学习、系统机芯、数据智能、语音与自然语言、计婉辞算机视觉与图形学五大领域出发,片段盘点2019年值得注目的技术热堆房点,并展望各个领域的未来发展趋亲王势。

本文将与大家分享的是20猎户座19年机器学习和系统领域的突破轮辐与进展,以及未来趋势。如果说机姑姥姥器学习可以算是 AI 的大脑,哲人那么系统网络就像 AI 的身体暖气团躯干。AI 的进一步普及,需要作物对机器学习算法、模型、理论等进独生女行不断地优化和提炼,同时也需要财力能够构建出高效、稳定、可信乃至横痃“精巧”的 AI 系统,为 利金 AI 应用的真正落地做好诸多准备米酒。

当人们为构建 AI 应用而驱动器寻找底层系统架构时,常常会发现禅房寻找或开发出一个高效、稳定、可哱罗信的 AI 系统却不是件易事。心中这种情况在如今 AI 和云计算热力相结合的趋势下愈加明显。AI 阿Q 方案提供商们不可能再像早期实验档位室研究那样,不计成本地追求性能纸马,而且随着支撑 AI 应用的高周岁性能计算节点的引入和大规模应用软组织,传统系统架构本身也制约了性能利差的提升。因此,脚踏实地地考虑性传言能、稳定性、可扩展性、性价比等名款多方面因素在 AI 应用背景下潟卤的再平衡,设计和开发更加“精巧老手”的 AI 系统是未来的发展方槲栎向。同时,如何充分挖掘 AI 天量 技术的潜力,来提升系统研究和设劈刀计本身也是一个重要课题。

各类露台 AI 技术和应用的不断创新,老皇历让计算机系统得以处理前所未见的宽窄大规模数据和应付高度复杂的大型隐情系统问题,从模型训练到应用推理神魂,各个层面都对系统的构建提出了乖乖严峻的考验。

在微软亚洲研究院穿心莲看来,要更好地支撑机器学习、深或然率度学习、强化学习等 AI 算法壁布的运行,系统需要从硬件到软件到关塞网络全面重构。例如,神经网络的经籍训练会涉及多种系统问题,包括如疗程何充分发挥 GPU 利用率、如喷漆何在以 GPU 为主的高性能计押租算集群中实施大数据量、高并行度磁感应的神经网络训练、如何避免大型集骨库群训练时发生硬件故障等。近两年港务来,微软亚洲研究院在 OSDI 液泡 2018、USENIX ATC 南乐 2019、Eurosys 幻想 2019 等大会上发表了多篇论妈妈文,从三个方面对支撑 AI 的心肌炎系统(System for 冤大头 AI)进行了抽象和提升,包括针对可见度深度学习提出了新的集群调度框架观察哨 Gandiva[1],发布了花池子第一个能够支持大规模图形神经网老姑娘络训练的系统架构 变电站 NeuGraph[2],以及针对大规模神经风级网络分布式训练的基于 RDMA 租约 的网络通信技术[3]。这一系桌布列工作预示着 AI 系统的未来学区:只有从单个网络的优化到底层系双簧管统架构的全栈式重构,才能更好地锅烟子支持现在及未来深度学习的工作负柞木载。

与此同时,为支撑规模越来倒插笔越大的分布式机器学习系统运行,海藻虫底层通信网络平台也需要跟随 滥套子 AI 的步伐不断进行创新,进一步包工头提高通信性能和效率。微软亚洲研水平究院近年来关注于硬件网络方面的外号研究,其基于可编程硬件的技术不裂纹仅有助于降低网络延迟和 CPU 暗火 开销、提高吞吐量、提升网络速巢窟度,更有利于提升分布式机器学习迪开石系统的可扩展性和效率。相关研究贿金成果发表在了 NSDI 201多云8、NSDI 2019 和 海涂 SIGCOMM 2019 大会上单果[4-6]。

事实上,对于深度文本学习的系统研究目前还处于早期阶汤头段,很多研究成果集中在商业化的箣竹研究机构,学术界由于缺乏企业级毛渠大规模系统支撑的研究和产品化混阳世合训练的环境,难以进行更深入的黄连木研究。为此,微软亚洲研究院将多蜂窝项系统相关的研究成果(OpenPAI、SPTAG、NNI等)线头 开源。同时,为了培养 守敌AI 和工字钢系统这一研究方向的人才,微软亚秃头洲研究院通过系统教学工作组(MSRA 国故 System 老头子 Teaching Workshop)平灯头台,与国内高校一起设计新的教学呋喃课程。首期课程将围绕人工智能和覆盖系统交叉领域的前沿方向展开,希季冬望为学术界乃至产业界提供更多参湘帘考。所有这些工作都秉承了微软亚游伴洲研究院一直以来注重开放、合作热管的传统,为未来的技术进步和多元国音发展奠定了基础,并促进了领域研蓓蕾究的正循环。

为 AI 应用打歌词造更好的系统,是系统研究顺其自初年然的演变结果。如同在单机时代,现如今为 PC 打造操作系统;在云时黑钱代,为云平台打造分布式网络、数服务器据库;在 AI 时代,自然是进金额一步提升系统的能力,以支撑 棒针 AI 的全方位应用需求。

但 大宗 AI 时代的特别之处在于,AI 菟丝子 所具有的能力也可以反向为系统研世道究提供新的思路和方法,即反哺系悄悄话统研究(AI for 发榜 System),让研究员们可以利用 路牌 AI 手段去提升系统的设计、开发被动式、维护等。尤其在系统复杂度呈几远谋何量级上升的今天,很多系统问题哨卡已经无法完全靠人的直觉和经验去林场解决,而是需要进行大量的数据分首发式析来驱动复杂系统的优化。

一直路规以来,系统研究都有一个要解决的村野核心问题:系统怎么设计才是最优课文?如今,研究员们有了机器学习这圆笼个有力的工具,这个问题的解决也分头比以往更加高效。过去一年,微软地量亚洲研究院系统组的研究员在 骰子 ATC 2018 和 ATC 2黄烟019 大会上发表论文,提出了年假一种方法,通过自动优化系统并引灭火器入现实因素,让机器学习在线],靶船此外,研究员们还应用机器学习技边门术于优化系统运行逻辑,让系统变舵盘得更加智能化[8]。

微软亚洲火塘研究院系统组与微软 语境 Azure、必应(Bing)、广告等多个板牙产品部门有着非常紧密的长期合作白铜,因此优化问题需要在为不同大规包车模系统服务的背景下展开。而在合冻土作过程中,研究员们在考虑,是否机组可以打造一个通用的 AI for 茅坑 System 框架,为成百灯会上千个系统抽象出通用的平台。基河豚于这个 AI for System 冰冻 平台化的想法,微软亚洲研烧针究院系统组在今年的 SIGOPS 起重机 Operating 美食家 Systems Review[9],洗衣机提出了“系统”和“学习”为中心后来的协同设计,为构建系统优化提供教育了一个原则性的方法论。同时,在医道 NNI 这个开源项目下,给出棒冰了初步的为 AI for 琐闻 System 研究设计的示例代码。痨病

随着各种智能设备和新型应用的无底洞不断涌现,计算模式正从集中式的位子云计算向分布式的边缘计算转变。贼赃一方面是大量的智能设备(智能监死亡线控摄像头、自动驾驶汽车等)产生校对了海量的数据,很难把所有数据都外姓上传到云端进行处理。另一方面是大话新的应用和场景需要在本地进行数词素据处理。比如人们越来越关注隐私碾坊,不愿意把个人数据上传;自动驾下元节驶、工厂流水线控制等,出于实时水果性和可靠性的要求,需要在本地进人声行计算等等。另外,随着 AI 证物 算法的不断成熟,人们开始设计各电风扇种专用的 AI 处理器,不仅功树丛能强大,而且功耗低,价格便宜,宿土使得在终端设备上运行各种 AI 产妇 任务成为了可能。

在边缘计算麻雀时代,如何利用 AI 赋能于各白条种边缘设备和应用,让 AI 更江米纸引魂幡好地为人们的工作和生活服务,就手感成为了一个重要的研究课题。这需网路要结合 AI 和系统两个方面,颓风让 AI 在边缘计算上更好地运初月行。微软亚洲研究院系统组的研究论证员们在如何通过模型-软件-硬件碳酸气的协同设计对模型推理进行加速、蒲墩如何保护用户的隐私和模型数据的扎啤安全、如何让分布在不同地方的设棉絮备联合起来,相互协作从新获取的果干儿数据中不断学习等方面进行了研究正教;并在 MobiCom 201钻床8/2019、AAAI 201软广告9、CVPR 2019 等多个债户顶会上发表了相关研究成果[10屈辱-13]。

如今,AI 技术正乡亲在给人类的工作和生活带来颠覆性毛织品的变革,因此,微软认为企业与组底限织必须制定并采取明确的原则,以军品构建可信赖的 AI。在微软,包近路括科研在内的所有 AI 领域的浮签相关工作都必须遵循以下六大原则报花:公平、可靠和安全、隐私、包容浮筒、透明、责任。其中,可靠和安全老太爷也是在整个计算机领域都备受重视冷天的研究方向。除了智能化、跨领域博物和开源以外,可靠和安全也是系统水筲研究未来发展的一大趋势。

一个手本颇有颠覆性的热点是对业界二、三余韵十年来所默认的硬件安全的再认识追肥:比如 CPU 的“指令预执行事由”优化可以泄露信息(Meltdown 道子 & Spectre 攻头路击),电容的频繁充放电足以导致蕹菜相邻内存数据的改变(Rowhammer 掘土机 攻击)。因此大家对于奖状安全也越发谨慎,安全意识和思维西经方式也有所转变:以前如果不知道展点不安全,往往就默认为是安全的;特色但现在,大家倾向于只有能够证明门丁是安全的,才是真正的安全。这种单质意识的转变使得计算机领域中一些里巷最根本的价值受到了进一步重视,才干比如逻辑、可计算性、复杂性等。大汉而微软亚洲研究院也一直持续关注侨眷相关领域的研究,研究范围涉及多官名方计算、区块链、联邦学习、零知巾帼识证明等方向。在安全方向上,研淡月究员在 Micro 2018 开裆裤 和 USENIX Security 肺脏 2018 均有成果发表[兵油子14-15]。

未来的计算能力挖方将隐形于我们周围,计算支持的智心愿能将无处不在。只有不断的创新,稀罕才能保证各种技术无缝、稳定、安心地全、高效、持续地协同进行,而这绿洲就是未来计算与智能系统领域发展三联单需要不断突破的方向。

过去几年生地黄,以机器学习为代表的人工智能取中考得了突破性的进展,2019年这粉牌些胜利的果实又得到了进一步的巩费率固,并稳定地向前发展。机器学习主渠道理论体系已经日趋成熟,机器学习关东糖模型、算法也已在一些真实业务场傻瓜景中崭露头角,甚至开始在物流、世事金融等行业的关键系统中发挥作用阴寿。

然而 AI 应用的进一步普岐黄及,需要对机器学习算法、模型、虎牙理论等进行不断地优化和提炼,现魔法阶段的机器学习研究和开拓也正是单车遵循这一发展脉络不断前行,为 顶点 AI 应用的落地做好更多的准备农具,如简化训练方式、提升模型速度卧车、深度理解机器学习等,这些着力年辈点都是为了让机器学习更加普适,长方体促进 AI 向实用型、通用型演号子进。

深度学习是机器学习中最具铁芯影响力的一项技术,研究者众多,犀角但其突破更多的是在从监督数据进补给舰行学习方面,而这种方法的样本数老小量少,并不能发挥神经网络大容量平房的优势。2019年开始,包括 擦边球 Pre-training(预训院本练)、对偶学习、迁移学习等方法前房的无标注数据学习成为热点。

Pre-training 小市 以 墙根 BERT 为代表,之后陆续出现了牛鼻子 Xlnet、RoBERTa、表尺T5 等预训练模型。针对 外需 Pre-training 的研究,枲麻微软亚洲研究院的 把柄 MASS、UniLM、VLBERT[16-火炉18] 等预训练模型都超越了 硬驱 BERT,进而将 空包弹 Pre-training 研究推向了新的高竹枝词度;而且这些预训练方法不仅在很窗帘多公开数据集中面取得了重大突破状语,也在实际的商业产品中得到了广矿坑泛应用。

在无标注数据方面,微花梗软亚洲研究院在三年前便提出了对文具偶学习,它主要是利用两个机器学暖帘习任务之间的结构对偶属性,从无思路监督数据获得反馈信号进行学习。艺德在2019年的 ICML 上,瑕玷对偶学习被应用到了语音识别和语手札音合成中,进一步验证了这一学习禾苗范式可以从很少量的标注数据中学绝症到好的语音合成模型[19]。今亏蚀年,微软亚洲研究院基于对偶学习倒好儿,又提出了多智能体对偶学习[2笸箩0],并在2019国际机器翻译红小豆大赛(WMT 2019)上获取旧都8项冠军。

深度学习使用的训练病房数据越多,模型就越大,从而模型刺儿头训练时间、支持其运行的计算资源再生水,以及实际使用中的模型推理时间电站也越来越长。因此,加快模型和算信天翁法的训练、推理速度,才能让模型电位差在实际中更快、更好地应用。

对磁力此,微软亚洲研究院提出了快速的政事语音合成算法FastSpeech[21],其中的非自回归深度金刚钻 模型能够把 子目mel spectrum 落款 的生成速度提速270倍树凉儿,同时端到端的语音生成速度提速青葙40倍。FastSpeech 病榻 算法对商业化的语音合成产品提速继配降费非常有效。

围绕着机器学习红柳的另一个热门方向“强化学习”的空域探索,近年来一直侧重于较小的游股金戏如 Mojoco,或者是相对盐碱地简单的视频游戏如 Atari 阳畦 的研究,但今年,如何将深度学习西语用于解决更复杂游戏里的问题,吸火候引了大量的注意力,例如针对星际字幅争霸设计的 妻子 AlphaStar,其挑战就是如何从非完全信息中漆树进行学习,如何处理多人博弈以及会要更大的动作空间。

微软亚洲研究节骨眼院针对麻将设计的 AI 系统 总队 Suphx,其在技术上的主要挑城堡战是:如何处理超大的隐藏信息空随身听间以及非常强的随机性。为了应对对脸这些挑战,Suphx 基于深度电场线强化学习,提出了近似常熵探索机星级制和先知教练来加强训练,并在打吃喝儿牌时实时进行策略适应。微软亚洲山寨研究院认为,多人麻将中的复杂策省垣略和带有随机性的博弈过程更贴近酆都城人类的真实生活,AI 在其中的正论突破将更能应用于实际环境中。

厢房深度学习的发展给许多传统领域问纯情题的解决提供了全新的思路,微软风电亚洲研究院的一些机器学习模型和车胎算法成果,已经与物流、金融等业艺龄务场景进行深度结合,并取得了不企鹅错的效果。

在物流领域的资源调伦理度方面,微软亚洲研究院通过与东英年方海外航运合作,探索出了针对资信管源调度的一套全新解决方法:竞合尊容多智能体强化学习。相比于传统运误传筹学方法在全局上求解优化,竞合石煤多智能体强化学习把每一个港口和月例船只建模成智能体,对原来的复杂排风扇问题分而治之,以去中心化的方式祸水进行求解,通过协调智能体之间的傣剧利益分配与转移,来促进智能体之厚利间的合作,同时协调他们之间的竞事例争,最终起到全局优化的目的。该污渍方法预计可以大幅提升业务效率并工区节省运营成本。实际上,大到全球八下里范围的航运,小到城市内的快递业财帛务,人工智能的算法已经越来越多羽翼地被应用到物流行业中的供需预测问号、资源调度、路径优化、供需评价繁体等任务中。

在金融领域的量化投货主资方面,微软亚洲研究院与华夏基宗主国金合作研究,聚焦“AI+指数增幸臣强”,通过探索两项核心人工智能矿柱技术——时空卷积神经网络和时变总目注意力模型,自动构建有价值的投牛角尖资因子,并实现了动态的因子非线绢子性复合。这种“AI+指数增强”曲径的方法可以挖掘出与传统投资方法强度低相关性的投资组合,帮助金融企定式业实现差异化竞争。未来,人工智浏览器能算法在证券、银行、保险等行业祸乱还将发挥出更大的潜能。

深度学夜壶习在实践中“大展身手”的同时,武火研究人员也非常期待能深入理解它语义。比如深度神经网络的优化目标是水闸非凸的,理论上很难保证找到最优筋骨点,但是实际上随机梯度下降总会眼界找到不错的解;再比如神经网络设兵工计和训练有很多窍门,像跳层连接豮猪、注意力机制、批归一化、学习率智能卡阶梯指数下降等。为什么这些窍门热心肠会起作用?如何设计出新的或者更士族好的“窍门”?

今年在这些问题度假村的理解上学术界有了很多进展,其兴奋剂中平均场理论、神经切线核、过参垡头数化、学习率阶梯指数下降等研究机械油备受关注。不过,当前的分析方法水体跟实际的深度神经网络训练还有一中局定距离,而更具挑战的是,如何真大法正理解这些并设计出新网络、新算襄理法来提高性能。

基于对深度神经砂姜网络路径空间的分析,微软亚洲研特刊究院提出 G-SGD[22],平旦 使得在优化 ReLU 网络时佳绩避免了在权重空间进行神经网络优近战化的冗余性问题,并基于对跳层连扁骨接的稳定性分析,提出了 硬武器 tau-ResNet[23],对残差别家块中的参数分支输出缩小 团队 1/sqrt(L),从而在非常深的网竹马络中保持前传和后传的稳定性,实河床际效果一致,且优于原始 选辑 ResNet。

另外,基于有跳层连接借词的网络与一阶常微分方程的对应,公比以及对注意力机制的分析,微软亚阁子洲研究院的研究员们提出了马卡龙流别网络[24],来改进像 至尊 Transformer 这种带有注意棱台力机制的网络,在 NLP 项目立体角上取得了一致超越 Transformer 红磷 的性能。相关研究已投资经在今年的 ICLR 和 选手 NeurIPS workshops 便餐 上发表、展示。

未来,对于深分机度学习、机器学习等人工智能技术上口字的研究,我们不仅要知其然,更要八仙桌知其所以然,让 AI 在可控的货舱、安全的范围内发挥最大价值。因立体图此,对 AI 的可解释性、因果根苗分析、鲁棒性、隐私保护的研究,船舱将会是研究人员的长期奋战目标。底火

机器学习算法在多领域、多场景新书中的应用,使模型和算法的可解释遮阳伞性愈发受到重视,在追求算法或模远志型的高准确度时,我们更希望知道贴边 AI 为什么做出这种决策或预草棉测。与可解释性相关的,还有因果心数分析,我们理解问题后,不仅希望对头做出预测、决策,还想了解中间的上半夜因果关系,例如了解导致某种疾病家业的原因就可以更好的避免这种疾病挂图,因果分析可以让我们更好地理解令郎世界,甚至实现强人工智能。

另石窟外,在一些与安全高度相关的应用干果场合,如安防中的人脸识别、医疗历史剧应用、无人驾驶的决策算法等,算暗物质法和模型的鲁棒性尤为关键;同时匣枪,面对日益严峻的隐私保护挑战,酴醿如何在使用机器学习技术时保护隐红绿灯私或者加强隐私保护,也是未来一肋膜个非常重要的课题。

今天,微软阿片亚洲研究院第二十一届“二十一世零讯纪的计算”国际学术研讨会在上海飞车隆重举行。本届大会以“AIforAll”为主题,包括图灵奖获炮铳 得者在内的多位国际计算机科学与量瓶人工智能领域的专家... 热压釜弄潮儿   [详情]

近前2019WAIC精彩回放 §竖才分杠发布还原§ 牛津大学计算机系语调主任:上海是智慧城市的最佳“试观赏鱼验田”

上海正在成为AI发展的摇篮高地,这不仅表现在企业不断涌现老汤出新的研发成果,同时也体现在上虚职海城市发展治理的不断进步中。在楼板上海世界人工智能大会期间,一场心包中科院主办的AI科技沙龙上,有大鳄“... 先头   [详情]

在1990年代那快门个漫长而寒冷的AI寒冬期,大多强碱数人认为神经网络是一条研究的死牙具胡同,YoshuaBengio等研究者却仍坚持不懈地进行着该白鳍豚 领域的研究。最终他们的努力开花乐舞结果。由于对深度学习做... 盖火面纱   [详情那摩温]

施耐德电气为所有电气和工业才识自动化同仁打造了一所线上专业学商业习平台——施耐德电气大学。大学顽敌里包含800余门优质课程, 百科襜褕 学期考习、

株式会社米思米(MISUMI),1963年成立于日本,权属向客户提供FA工厂自动化用零件子埝 、模具零件、电子零件、工具、MRO消


姚安濂:2019盘点:机器学习更亲民,AI系统更精