首頁/ 科技/ 正文

方案落地!合肥君正公佈全棧式低功耗 AI 技術

方案落地!合肥君正公佈全棧式低功耗 AI 技術

4大亮點、5大競爭力,合肥君正「AIE+Magik」對壘智慧視覺領域。

習慣在針尖上跳舞的合肥君正,在萌芽之時就認識到AI的重要性。

2014年前後,影片晶片市場已有眾多廠商,且大多鏖戰成像和傳輸。彼時的君正意識到,用模仿的方式硬生生地去打這個市場難以出頭且毫無價值,而AI將成為下一戰場的關鍵。從那時起,AI與演算法部門成為君正最早的技術部門之一。

7年白駒過隙,那些或深或淺的腳印現已踏出一條康莊大道:最近,君正正式公開了自己的AI硬體加速引擎和AI開發平臺Magik。

君正影片事業部副總經理劉遠表示,這套技術從開始至今,經歷了各方面的錘鍊:

“從T01到T02再到T31/T40,從computer vision到deep learning再到混合量化,從安防攝像機到低功耗門鈴再到立體機器視覺,從Tensorflow/Caffe到Magik,從第一家客戶試探性接入到大量產品演算法落地,這套技術已經從創新研發走到普惠應用。”劉遠說道。

這歷時多年的武器,將往影片行業投下一枚怎樣的石頭,又怎樣協助下游客戶落地更具競爭力的產品?

直奔落地的一整套「晶片+AI算力+AI開發平臺」解決方案

如何為端側AI應用提供一套成本親和,效能出眾,功耗低,又易於落地的基礎技術元件?這正是合肥君正一直在思考的命題,也是君正AI技術研發的核心目標。

劉遠指出,經過多年摸索,這樣一套基礎技術元件如今包含:

一系列落地晶片:佈局完備,覆蓋高中低階,除AI以外具備完整的各方面競爭力,成本親和,效能均衡,效果出眾,功耗領先,被市場認可並且持續大量出貨。這就像AI和演算法落地生根的土壤,越廣闊越好。

一套先進的AI加速硬體:優秀的PPA(Performance, Power, Area),兼具高效能和靈活性,並且透過有效創新,真正突破AI推理在端側產品中的各種瓶頸,使得高發熱,高頻寬,成本冗餘等在實際產品中不再是問題。

一個完善的演算法開發平臺:敏捷的演算法移植過程,除了提供一鍵式演算法部署,還提供最先進的量化感知訓練方法論,提供典型網路的全流程開原始碼,讓演算法專家專注於挖掘痛點與資料的價值。

君正的整體AI技術架構如下圖:

方案落地!合肥君正公佈全棧式低功耗 AI 技術

其中AI-Engine(AIE)是一整套AI加速硬體,包括CPU,NNA,SIMD,協處理器和RAM Pool等多重加速技術。

主要優勢是“三高三低”:算力高,利用率高,靈活性高;功耗低,外圍成本低,頻寬需求低。

Magik是基於AIE的演算法開發平臺,除了基本的工具鏈還包含其他豐富的輔助開發資源。並且支援後量化和更先進的量化感知訓練(QAT)。

“卷積神經網路的本質是計算,幸運的是,君正一直是國內為數不多的完整CPU計算技術的擁有者,這一點,奠定了我們的AI技術具有較高的發展起點。”

劉遠說道,“而Magik融合了我們這幾年在視覺產品落地上的各種經驗,能夠發揮AIE獨特的領先效能。二者搭配,呈現在行業客戶面前的就是一整套完整的‘晶片+AI算力+AI開發平臺’的解決方案,使得應用者非常容易落地。”

利用這套平臺,可以帶來多方面長遠的優勢:

產品化優勢:這套技術可運行於君正當前和未來的各種晶片當中,下游產業鏈條成熟,碎片化風險低,生態一致性有保障;

商業化優勢:已有大量晶片持續出貨,品牌背書充足,能加快演算法賦能和變現的節奏;

成本優勢:包括eBOM成本,演算法成本,研發成本等;

效能優勢:可獲得更高的物理算力,更高的利用率;

低功耗優勢:體現在產品端就是發熱明顯低,續航更好,散熱無憂;

“AIE+Magik是君正原生創新的技術,完全自主。T40作為搭載這套技術的最新一代晶片,卻並非第一代產品。”劉遠強調,“在這之前,我們經過了T01/T02/T31等幾代量產晶片的驗證,積累了大量寶貴經驗,到T40這裡,AIE+Magik已經十分成熟”。

AIE—有效突破端側AI的算力瓶頸

AI-Engine(AIE)是君正完全自主創新的一套AI加速硬體組合,廣泛支援各類神經網路加速,如CNN/RNN/GCN等,也支援傳統CV演算法和平面運算的加速。得益於公司對CPU技術的掌握,AIE實現了其他一般晶片公司難以做到的CPU與NPU的同構設計。

方案落地!合肥君正公佈全棧式低功耗 AI 技術

在全球各種不同的AI加速技術路線中,DSA(Domain Specific Architecture)尤其適合端側推理場景。AIE引用了多種DSA的設計理念,實現了一整套滿足複合演算法加速的硬體組成:

支援SMT多核架構的XBurst2 CPU,凝聚了君正團隊20多年的CPU技術精華;

128bit/512bit/1024bit位寬的SIMD指令集,針對向量運算加速;

算力高達2T - 32T的NN加速陣列,針對張量計算加速,支援混合位寬量化

協處理單元,對其他運算加速;

高效RAM pool,深度最佳化記憶體頻寬吞吐

實測執行功耗很低,8T算力場景下典型功耗小於500mW,能耗比最低達到了0。05W/T級別

“與雲上的AI晶片加速不同,在端側晶片上,4T算力曾經是天花板,這並不是因為硬體無法將算力繼續提高,而是因為端側產品在算力以外有太多的制約因素。”劉遠解釋道,“如果不優先把NPU內部的PPA、頻寬、功耗等關鍵障礙解決,即使再提高計算矩陣的規模,實際晶片也大機率發揮不出來。”

歸納起來,端側算力的瓶頸主要集中在:產品端的資源限制,演算法多樣性的挑戰和演算法開發環境。

方案落地!合肥君正公佈全棧式低功耗 AI 技術

端級晶片在計算資源和成本都面臨限制,無法像雲端伺服器那麼豐富和冗餘。

在終端售價,RAM記憶體容量,ROM模型儲存,發熱控制,DDR的頻寬等方面都面臨極大挑戰。

所以端級產品需要與雲端不同的AI加速技術。

君正AIE特別針對端級應用設計,採用專用硬體架構DSA(Domain Specific Architecture),與常見的NPU相比,有明顯的規格優勢:

MAC利用率提升1到2倍,推理速度提升2到4倍;

演算法執行的RAM/ROM消耗減少50%~70%;

頻寬降低35%~85%;

發熱減少40%~80%。

無論2C還是2B/G市場,不同應用對AI演算法的要求差異很大,即使是相同功能的演算法也難以做到單一模型覆蓋所有場景。

其次人工智慧學術領域仍然在發展,雖然變化的速度減緩,但未來仍然會不斷出現新的網路,新的流程,新的運算元,新的訓練方法等等,這些決定了目前的AI加速硬體還沒有到達統一收斂的階段。

端級演算法本身呈現多樣性,碎片化的客觀現狀。

這就要求晶片中硬體的加速能力非常靈活,能夠應對各種未知運算元/演算法/網路/流程的變化,這一點對AI引擎的設計提出巨大挑戰。

君正AIE結合了多年積累的CPU技術,摸索了一套兼顧高效能和靈活性的創新技術:

算力達2T ~ 32T的NN加速陣列,實現千倍加速比;

非標計算協處理單元,實現百倍加速比;

128bit到1024bit位寬的SMID指令集,實現幾十倍加速比;

RAM Pool系統,顯著降低頻寬;

高主頻多核多執行緒XBurst®2 CPU。

“過去至今各種行業攝像機搭載的AI演算法,大多存在‘效能冗餘但利用率低’、‘成本偏高但有浪費’、‘功能可用但難以普及’等情況,隨著搭載AIE+Magik的T40逐步到位,能做到8T算力,小於0。5W的加速功耗,並且內建了DDR,這些痛點會得到很大改善。”劉遠表示。

Magik—全棧式深度神經網路開發平臺

硬體是軀體,軟體和演算法是靈魂。如果是AIE是軀體,那麼Magik就是靈魂。

Magik是一個面向端側AI應用的全棧式開發平臺。與一般的AI開發工具鏈相比,Magik包含了更豐富的內涵:

全流程,一體化。集模型訓練、最佳化轉換、部署推理於一體,並提供模型檢查器、調優器、效能分析器等工具;

多框架。全面支援pytorch/tensorflow/mxnet/caffe/onnx等主流框架;

量化感知訓練(QAT)。支援2/4/8/16任意精度混合訓練及轉換最佳化,在保證精度的同時,能充分利用AIE的計算資源;

靈活性。同時支援QAT和後量化方案,加速應用靈活部署;

開放性。開放人臉/人形等常見演算法的從訓練到部署全流程程式碼,以及經典網路的backbones,增強易用性,加速落地。

“Magik不僅僅是一個AI轉換工具鏈,還是一個豐富的開發平臺,”劉遠補充道,“有工具鏈,framework外掛,Model Zoo,常用的backbones,還包括一般攝像機非演算法的支撐功能,例如成像,編碼,幀資料流,記憶體複用最佳化,儲存降維,多目同步,甚至記憶體洩露防範等都有體現在內,真的值得用一用”。

Magik的一大特色是支援較為先進的QAT方法論。端級AI應用目前大多還停留在後量化方法階段,相比QAT,後量化更像是端級AI的過渡階段。後量化過程相對簡單,但精細度不足,算力容易形成浪費,功耗成本頻寬等難以解決。QAT方法能夠更精細地根據加速硬體的特點調整訓練細節,從而發掘端級AI算力的潛力,達到提升算力利用率,降低功耗,頻寬和成本的效果。

使用Magik的開發過程很容易上手,流程示意圖如下:

方案落地!合肥君正公佈全棧式低功耗 AI 技術

“Magik就像一把‘雲梯’,幫助客戶快速落地AI演算法和視覺產品,它能給行業帶來長期的助力”。

與AIE的發展相輔相成,Magik具有未來小型生態的潛力,其堅實基礎是君正過去,目前和未來所有的算力晶片,只要君正晶片能夠覆蓋到的市場領域,都可以發揮作用。

春風化雨時,潤物細無聲

“早幾年當AI的浪潮滾滾而來,喧囂塵上之時,我們並沒有太多發聲,但並不代表我們沒有行動。”劉遠講道,“當東西沒有真正拿得出手時,我們自己心裡這一關就過不去。而現在,AIE+Magik這一套技術,已經服務了很多客戶,並讓不少人嚐到了甜頭”。

據瞭解,AIE+Magik已經成功服務了超過幾十家客戶,包括一些行業知名品牌,傳統演算法公司,行業監控企業,大型網際網路品牌,運營商以及初創極客。

這些服務,遠超演算法開發這個層面。要實現裝置承載不同的演算法執行,首先需要克服演算法計算標準化的困難,但這只是端側AI落地過程中挑戰的冰山一角。

除此之外,裝置的產品屬性,可量產屬性,消費者體驗屬性以及開發週期等方面都需要大量的投入。

君正完成了各種典型視覺產品的方案積累,例如安防監控,物聯網視覺,低功耗成像,智慧辦公,文字掃描,生物識別,立體視覺等領域都能提供完整的解決方案,讓演算法賦能只需要做簡單加法就可以落地。

“這樣做有沒有社會價值,有多大的社會價值,是推動我們每一項產品和技術研發的精神核心。”

北京君正副總經理黃磊曾多次強調。在AIE+Magik的落地過程中,賦能下的各大下游企業的產品價值,都是對這一說法的精準註腳。

“有一家演算法專業型的客戶,本身有很強的演算法開發能力,基於君正晶片和Magik平臺,開發了全新的產品系列。新產品系列比之前的老產品,成本下降了一個數量級,實現小型化。客戶還獨立完成了人臉識別演算法的移植,執行效果十分良好。”

劉遠介紹說,“與此同時,另一家知名的銷售專業型客戶,本身演算法能力不強,但是非常清楚消費者痛點。基於君正晶片和Magik平臺,在君正的輔助下建立了演算法團隊,利用Magik平臺的開原始碼和網路,基於自己的資料資源訓練了人形偵測演算法,客戶利用消費者優勢,不斷對演算法進行迭代,最終以運營方式上線演算法,消費者反饋良好,運營轉化率高於預期。”

不知不覺間,優質的服務成為了君正在智慧視覺市場的核心競爭力之一。

目前隨著T40晶片到位,很快將有更多搭載AIE+Magik的產品陸續進入市場。基於T40打造的視覺產品,能做到4T/8T算力,能耗比最低達到0。05W/T級別,外圍BOM很簡單,晶片售價做到幾個美金。配合Magik和各種成熟方案資源,T40有望成為AI視覺大市場的細雨春風。

相關文章

頂部