我国学者在深度学习处理器体系结构研究方面取得新进展

　　 　　项目研究成果发表在多个计算机体系结构领域重要会议和期刊，包括国际计算机体系结构会议（International Symposium on Computer Architecture）、国际微体系结构会议（The International Symposium on Microarchitecture）、国际超算大会（The International Conference for High Performance Computing, Networking, Storage, and Analysis）、《美国计算机学会·计算机系统汇刊》（ACM Transactions on Computer Systems）、《电气电子工程师协会·计算机汇刊》（IEEE Transactions on Computers）等

　　

义翘神州抗体开发完整解决方案，覆盖从抗体开发到临床研究全流程>>欢迎下载详细技术资料婵犵妲呴崑鍕償濠婂牆绠柨鐕傛嫹 闂傚倷绀侀幉锟犳偡闁秴绠柨鐕傛嫹

图1 支持量化训练的深度学习处理器架构Combricon-Q

图2 用卷积神经网络预测稀疏张量最优存储格式的方法SpTFS

　　在国家自然科学基金项目（批准号：61732002）资助下，北京航空航天大学钱德沛教授团队与中国科学院计算技术研究所陈天石研究员团队合作，在深度学习处理器体系结构研究方面取得新进展。

　　近年来深度学习研究取得了巨大进步，已经开始影响社会的生产和生活，与此同时，算力需求也呈指数上升趋势，现有的智能计算硬件难以同时满足高性能和高能效的需求。尽管包括稀疏化和低比特量化在内的多种非精确计算方法等已被证明可以降低神经网络的理论计算量，但现有的计算硬件无法充分发挥上述算法的优势。因此，如何从处理器体系结构、算法、软件等多个层面系统地支持非精确性优化方法，理解非精确计算过程与结果准确性的关系，解决深度学习处理器性能和能效两者的矛盾，是亟待解决的问题。

　　钱德沛和陈天石团队以充分利用深度学习对非精确计算的容忍特性为核心思想，围绕深度学习处理器设计，跨越多个系统层次开展了研究。提出了一种用于深度学习处理器的领域专用指令集架构，集成了标量、向量、矩阵、逻辑、数据传输和控制指令以及支持非精确计算的扩展指令，为微体系结构明确了设计目标。基于此，团队取得以下进展：

　　（1）提出了一系列支持稀疏神经网络的深度学习处理器体系结构Cambricon-X、Cambricon-S和Cambricon-SE，能够有效利用神经网络中的权值稀疏性和神经元稀疏性，提升神经网络算法的计算效率。与早期的深度学习处理器DianNao相比，最新的Cambricon-SE处理器在性能和能效方面分别提高了10倍和20倍。团队提出的支持量化训练的处理器Cambricon-Q，可以以微小的精度损失为代价达到相比GPU的 4.2倍性能提升和相比TPU的1.7倍性能提升，如图1所示。

　　（2）为了解决算法到硬件的适配问题，提出了一种支持多种深度学习处理器体系结构的编译技术，可以通过张量抽象机抽象出多种深度学习处理器的共同架构特征。为了从工具角度支持非精确计算，提出了一种张量计算冗余零值分析工具ZeroSpy，可以有效识别由于数据结构使用不当和无用计算而造成的冗余零并指导相应的代码优化。提出了一种利用神经网络预测不同硬件平台下稀疏张量最优存储格式的方法SpTFS，如图2所示。为了从基础算法层面支持非精确计算，提出了一种可分解Winograd卷积计算轻量化算法，可突破原始算法对卷积核大小的限制，提高卷积计算效率。

　　项目研究工作覆盖了指令集、微体系结构、基础算法库、系统软件和应用等多个层次，探索了从支持非精确计算的角度同时提升深度学习处理器性能和能效的新途径，形成了非精确深度学习处理器体系结构的系统性方法，有助于进一步推动智能芯片研究和应用。

　　项目研究成果发表在多个计算机体系结构领域重要会议和期刊，包括国际计算机体系结构会议（International Symposium on Computer Architecture）、国际微体系结构会议（The International Symposium on Microarchitecture）、国际超算大会（The International Conference for High Performance Computing, Networking, Storage, and Analysis）、《美国计算机学会·计算机系统汇刊》（ACM Transactions on Computer Systems）、《电气电子工程师协会·计算机汇刊》（IEEE Transactions on Computers）等。

闂傚倷鑳堕幊鎾绘倶濮樿泛绠插ù锝堟閻牓鏌ㄩ悤鍌涘

濠德板€楁慨鐑藉磻濞戙垺鍊舵繝闈涱儏缁犵喖鏌ㄩ悤鍌涘 Twist 多基因片段库：数十万基因片段开启高通量筛选无限可能！快来看！

婵犵數鍋為崹鍫曞箰閹间緡鏁勯柛顐ｇ贩瑜版帒鐐婇柍瑙勫劤娴滈箖鏌ｉ悢鐓庝喊婵℃彃婀遍埀顒冾潐閹稿摜鈧稈鏅濋埀顒勬涧閵堟悂寮崒鐐村€锋い鎺嶇劍閻﹀酣姊虹拠鎻掝劉缂佸甯″畷婵嬪箳濡も偓缁€澶愭煟閺冨倸甯舵潻婵囩節閻㈤潧孝婵炶尙濞€瀹曟垿骞橀幇浣瑰兊閻庤娲栧ú銊╂偩閾忓湱纾介柛灞剧懅椤︼附淇婇锝囩煉鐎规洘娲熼、鏃堝川椤栵絾绁梻浣瑰缁诲倿鎮ч幘婢勭喓鈧綆鍠楅悡娆愮箾閼奸鍤欐鐐达耿閺屾洟宕堕妸銉ユ懙閻庢鍣崜鐔肩嵁瀹ュ鏁婇柣锝呮湰濞堟悂姊绘担钘変汗闁烩剝妫冨畷褰掓惞椤愶絾鐝烽梺绉嗗嫷娈曟い銉ョ墦閺屾盯骞橀懠顒夋М婵炲濯崹鍫曞蓟閺囥垹骞㈡俊銈咃工閸撻亶鏌ｉ姀鈺佺仭濠㈢懓妫楀嵄闁圭増婢橀～鍛存煟濞嗗苯浜惧┑鐐茬湴閸婃洟婀侀梺鎸庣箓濡瑧绮堢€ｎ喗鐓冪憸婊堝礈濮橆厾鈹嶉柧蹇氼潐瀹曟煡鏌涢幇銊︽珖妞も晝鍏橀弻銊モ攽閸℃瑥鈪靛┑鈽嗗灠椤戝寮诲☉銏犵闁瑰鍎愬Λ锟犳⒑鐠囧弶鍞夊┑顔哄€楃划姘舵焼瀹ュ懐顦ㄥ銈嗘尵婵兘顢欓幒妤佲拺閻犲洠鈧櫕鐏侀梺鍛婃煥妤犳悂鍩㈤幘璇茬闁挎棁妫勫▓銉ヮ渻閵堝棛澧紒顔肩焸閸╂盯寮介鐔哄幈濠电偛妫欓崝鏇㈡倶閳哄偆娈介柣鎰级閸犳﹢鏌熼姘毙х€殿噮鍣ｅ畷鎺懳旀担瑙勭彃

10x Genomics闂傚倷绀侀幖顐﹀磹閻熼偊鐔嗘慨妞诲亾妤犵偞鐗犻垾鏂裤€掓刊鐖剈m HD 闂佽瀛╅鏍窗閹烘纾婚柟鍓х帛閻撴洘鎱ㄥΟ鐓庡付闁诲繒濮烽埀顒冾潐濞叉粓宕伴幘鑸殿潟闁圭儤顨呴獮銏℃叏濮楀棗澧┑顔煎暣濮婃椽宕ㄦ繝鍌滅懆濠碘槅鍋呯划宥夊Φ閺冨牆绠瑰ù锝囨嚀娴犮垽姊洪幖鐐插姉闁哄懏绮撻幃楣冩焼瀹ュ棛鍘遍棅顐㈡搐椤戝懏鎱ㄩ埀顒€鈹戦悙瀛樼稇婵☆偅绮撴俊鐢稿箛閺夊灝宓嗛梺缁樶缚閺佹悂鎮℃担铏圭＝濞达絽鎲″﹢鐗堜繆閻愯埖顥夐摶鐐烘煕瑜庨〃鍛矆閸℃稒鐓曢柍鈺佸暈缂傛岸鏌嶈閸忔稓鍒掑▎鎾虫瀬鐎广儱顦伴弲鎼佹煥閻曞倹瀚�

濠电姷鏁搁崑娑樜涙惔銊ュ瀭闁兼祴鏅滃畷鏌ユ倵閿濆骸浜為柍缁樻閹鏁愭惔鈥崇缂備椒鑳跺▍澧俰st闂傚倷绶氬ḿ褍螞濡ゅ懏鏅濋柨婵嗘川缁犳柨顭块懜闈涘婵☆偅蓱閵囧嫰骞樼捄杞扮捕缂傚倸绉崇欢姘跺蓟濞戙垹鍐€闁靛ě鍐ｆ嫛婵犵數鍋涢悧濠囧储椤ョSPR缂傚倸鍊烽悞锔剧矙閹烘鍎庢い鏍仜閻掑灚銇勯幒鍡椾壕濡炪倧缂氶崡鎶藉箖瑜斿畷顐﹀Ψ閵堝棗濯伴梻渚€鈧偛鑻晶鏉戔攽閳ユ剚鍤熼柍褜鍓ㄧ紞鍡涘礈濮樿泛姹查柍鍝勬噺閸婂灚绻涢幋鐐垫噧濠殿喖鍟撮弻娑㈠籍閹炬潙顏�

闂傚倷绀侀幉锟犮€冮崱妞曞搫饪伴崨顓炵亰闂婎偄娲︾粙鎺楀吹閸曨垱鐓熼柟閭﹀墻閸ょ喖鏌曢崼鐔稿唉妤犵偞鐗犲鍫曞箣閻樻鍞堕梻浣告啞閻熴儱螞濠靛棭娼栧┑鐘宠壘鎯熼梺闈涱檧缁茬厧霉閻戣姤鐓熼柣妯夸含閸斿秶鎲搁弶鍨殻闁诡喓鍎甸弫鎾绘晸閿燂拷 - 濠电姷鏁搁崕鎴犲緤閽樺鏆︽い鎺戝閻鏌涢埄鍐＄細妞も晜鐓￠弻娑㈠焺閸愭儳姣€闂佸湱鍎ら幐楣冦€呴悜钘夌閺夊牆澧界粔鐢告煕鎼淬垹鐏ラ柍钘夘樀楠炴﹢顢涘顐㈩棜婵犵數鍋為崹鍫曞箹閳哄倻顩叉繝濠傚暟閺嗭箓鏌ｉ弮鍥仩缁炬儳銈搁弻娑㈠焺閸愵厼顥濋梺鍛婃⒐鐢繝骞冨Δ鍛嵍妞ゆ挾鍋樺Σ鎰版⒑缂佹ḿ鈯曢柣鐔濆洤绠悗锝庡枛缁犳煡鏌熸导瀛樻锭闁诡喕绶氬娲川婵犲倻顑傛繝鈷€鍕垫疁鐎殿喗濞婇幃銏ゆ偂鎼达綆鍞规俊鐐€栭弻銊╂倶濠靛牏鐜绘繛鎴欏灪閻撴瑩鎮归妸銉Ц闁稿﹤顭烽幃鐑藉閵堝棛鍘卞┑鐐叉閿氶柣蹇嬪劜閵囧嫰顢曢姀鈺佸壎閻庤娲滄繛鈧€殿喕绮欓、鏍敃閿濆懏璇為悗娈垮枟閹倿寮幘缁樻櫢闁跨噦鎷�

婵犵數鍋為崹鍫曞箰閹间緡鏁勯柛顐ｇ贩瑜版帒鐐婃い鎺嗗亾鏉╂繃绻濋悽闈浶㈤悗姘煎櫍閹本鎯旈妸锔惧幘閻庤娲栧ú銈嗙濠婂牊鐓曢柣鎰摠鐏忥箓鏌熼挊澶娾偓濠氬焵椤掑﹦绉甸柛鎾村哺椤㈡棃濡舵径瀣化闂佽澹嬮弲娑欎繆閾忓湱纾奸柕濞у喚鏆梺鐟板槻閹冲酣銈导鏉戠闁靛ě鈧崑鎾寸節濮橆厾鍘搁柣搴秵閸嬪嫭鎱ㄩ崼銉︾厸鐎光偓閳ь剟宕版惔銊ョ厺闁哄啫鐗嗛崡鎶芥煟濡寧鐝慨锝呭閺岋絾鎯旈姀鈶╁闂佸憡姊圭敮鈥崇暦濠靛鍋勯柣鎾冲閵夆晜鐓ラ柣鏇炲€圭€氾拷