第二十四期回顧

目前，傳統汽車行業正在被人工智慧技術重新定義洗牌，在基礎技術之上，車載的應用能演進出怎樣的星辰大海，我們當下無法預測，但是，支援無盡想象的應用，依靠的是AI晶片的可拓展性。

《安創“芯”視野》

第24期，我們邀請到了

肇觀電子執行長馮歆鵬

來為我們解讀車規AI芯片面臨的挑戰與實現。他從AI晶片的能效比和支援可拓展性的介面能力，ISP能力和接入sensor的能力、VSLAM能力、以及軟體易用性，深入探討車規AI芯片面臨的挑戰與實現。

（以下是分享內容整理）

大家好，我是肇觀電子CEO馮歆鵬。今天要跟大家分享的是車規AI芯片面臨的挑戰與實現。

車規、AI、晶片這三個詞現在非常熱門。關於車規，我們知道現在全球汽車正在往智慧化方向發展，但目前面臨著晶片短缺問題；AI在過去幾年一直是比較熱門的話題；而晶片由於近期的各種原因，也成為風口浪尖上的一個主題。所以，車規AI芯片面臨著很多的挑戰，今天我就來和大家一起探討和分享它們的一些特點以及應該如何應對接下來的發展。

假設參加這個直播的小夥伴都對車規AI晶片的相關背景有一些瞭解，那我出三道題來考一考大家。

第一道題是：人類日常獲取的資訊中，透過視覺獲取的資訊所佔比例是多少？選項有：A。 50%，B。 60%，C。 70%，D。 85%。

正確答案是D，

人類獲取資訊中的85%都是從眼睛來的，所以視覺對人類感知世界是非常重要的。

第二道題是：目前平均每輛車有多少個攝像頭？預計五年後有多少個攝像頭？選項有：A。0-1/ 2， B 0-1/4， C。0-1/8， D。 0-1/10 正確答案是D，就是今天的汽車平均大約有0~1個攝像頭，但是五年後一輛汽車大約有10個攝像頭，所以這方面的增長是非常快的。

因為汽車正在往智慧化方向發展，而智慧化的前提是要獲取很多資訊，那麼感知到很多資訊然後再進行處理就是我們解決這個問題的流程。所以，首先我們得需要很多的攝像頭，這樣才能採集到很多資訊進而再把它進行處理。

第三道題是：將一個位元搬運1000米所消耗的能量比本地晶片內計算高多少倍？選項有：A。 10³， B。10⁵， C。10⁵， D。10¹² 我們知道，物理世界的基礎單位是原子，資訊世界的基礎單位是位元。那麼physically搬運位元很長一段距離所消耗的能量跟把它本地計算所消耗能量相比，用焦耳來衡量大概是多少倍的差距呢？答案是D，是10的12次方的差距。所以這個也揭示了為什麼對於資料資訊永遠是能在本地計算就在本地計算，在本地解決不了的時候才把它放到雲端計算，所以終端非常重要。

這三道題是給大家做個熱身，後面我們會討論一些更加專業的問題。

我們知道，智慧汽車首要的功能是看清楚道路。車子原來是一個非常原始的工具，完全沒有智慧，只靠人來把它駕駛起來，這其實跟人操縱一個錘子打一個釘子沒有什麼區別。那麼，當汽車有了一定的智慧才能慢慢地把人從駕駛這個工作中解放出來，使得駕駛變得更加安全、駕駛過程變得更加愉悅。

而智慧汽車首要的功能是要正確地感知周圍的環境和資訊，因此看清楚道路是最基本的要求。

在暗場景或者雨天的時候，看清楚道路對於人而言都是一個很大的挑戰，對於車更是如此。當遠處的遠光燈打過來，我們的攝像頭上面是一片光暈。但這個光暈裡卻含有一些很有價值的資訊，而這些資訊可能會被光暈所淹沒掉，那就有可能引發一些問題。所以，智慧汽車的首要任務是看清楚道路。

我們知道，AI這個概念非常熱，但是在實際應用中依然還有諸多的問題有待解決。舉個例子，演算法錯誤是大家經常抱怨和遇到的問題。神經網路的演算法的魯棒性以及它是否有強大的演算法能力是非常複雜的問題，目前亟待解決。同時，

演算法精度的保持非常重要，因為很多的精度損失是部署在終端的時候產生的。我們好不容易訓練出一個神經網路演算法，肯定不希望當把它部署在端側裝置或嵌入系統的時候精度有任何的下降，但是往往事與願違，

當你部署在端側的時候，你一定會suffer from這些精度損失。因此，最端側的晶片如何保持演算法精度的能力是非常重要的。

談到車規，我們會提及在極端溫度情況下元器件的可靠性和壽命。我們知道，在赤道附近比如撒哈拉沙漠或者比較炎熱的地方，車內溫度很容易就達到很高。大家可能都碰到過這樣的情況：夏天烈日暴曬下，停車場裡的汽車車內溫度非常高；冬天尤其是比較寒冷的地區的冬天，冷到有時候汽車都打不著火。這時候，裝在車上的晶片或者元器件的可靠性和壽命就非常重要。

對於車規晶片而言，從零下40度到100多度高溫的區間範圍內都能正常工作對於汽車的應用非常重要。

對於車規AI晶片，其利用率是目前車廠越來越關注的一個方面。現在有很多晶片供應商提供新型的晶片，但是新型晶片遇到車廠的時候，車廠就要看到供應商宣稱的1T/2T/4T/5T/10T的算力跟實際能跑出來的結果之間到底存在一個什麼樣的關聯。

車廠只會為了真實的算力而買單，所以，宣稱的算力是一回事兒，真實的利用率又是另外一回事。

因此，實際的利用率是非常重要的一個考察點。每個廠商都在尋找在效能、功耗、成本等綜合方面下可用的AI晶片，所以每花一分錢都要獲得一分錢的價值，這就是廠商關注的最重要的幾個衡量指標之一。

車廠客戶同時也關注車規AI晶片的整合度。對於一個客戶而言，他拿到的一個系統是由多個複雜元件還是一個元件組成的，從成本、功耗、系統複雜度、可維護性和可靠性的角度來看都是不一樣的。顯然，對各種風險來講，越高整合度的系統越可控，所以高整合度的晶片是非常重要的。

對於車廠而言，軟體的易用性也非常重要。人工智慧落地遇到的比較核心的挑戰，一方面在於整個產業鏈亟需在效能、功耗、成本等方面合用的上游核心晶片，這是很多廠商包括肇觀電子在內在做的事情；另外一方面在於演算法落地時所需的知識技能過於專業導致落地的成本很高昂，這也是一大落地挑戰。因為既懂AI演算法又懂硬體部署的人才非常缺乏，所以很多應用和系統廠商的開發能力較為欠缺，導致落地慢。而落地成本高昂問題對於小廠和大廠都是一樣的。大廠也經常遇到提供高薪卻招不到合用人才的問題，所以人工智慧落地成本高昂是一個業界公認的顯著問題。

當系統廠商使用AI晶片的時候，其面對的學習和部署成本壁壘是AI應用落地的一大挑戰。由此可見，軟體的易用性非常重要。

肇觀電子開發的車規AI晶片NE-V163A

NE-V163A晶片是肇觀電子試圖回答上述提到的挑戰和問題的答卷。這顆晶片是一個高度整合的SoC晶片，可以接入多路的攝像頭輸入，也可以接入可見光攝像頭、結構光、鐳射雷達等。在影象感測器接入方面，我們支援4K30幀的影象輸入和處理，或者把它拆成多個攝像頭同時輸入。晶片裡的ISP能做各種各樣的處理，也有H。265的JPEG的編碼和解碼。所以，這是一個非常完整的SoC。在SoC裡，對於AI的計算我們支援是1。2TOPS/FP16的計算以及2。4TOPS/INT8的計算，這是我們比較獨特的一個engine，叫做 CVKit™， 稍後會詳細解釋。

在計算方面，我們有2。4TOPS神經網路加速引擎以及雙核DSP來部署各種各樣的演算法。除此之外，我們還有一個CVKit

™

的VSLAM core。VSLAM core是一個比較獨特的基礎計算加速的元器，可以加速3D的計算，也可以實時地進行大解析度的3D點雲計算。它可以計算很多側重點的抽取、各種常用的角點、邊緣計算，也能進行各種追蹤。常用的計算機視覺的運算元加速是我們花了很多力氣來做的一個技術，它可以加速各種各樣的計算機視覺演算法。

車規AI晶片NE-V163A開發板

這顆晶片能支援的介面也非常豐富，有USB3。0的Host和device模式、8個channel的PWM以及24個channel的SAR-ADC。對記憶體顆粒支援方面，從DDR3、DDR3L、LPDDR3到DDR4、LPDDR4，支援最高3200的速度，而且也支援各大記憶體廠商的顆粒。

NE-V163A 透過車規認證

我們於去年通過了AEC-Q100 Grade2的認證，就是晶片的可靠性認證報告，我們是花了很長時間和很多代價才透過這個認證的。這是一個BGA17×17封裝的晶片。

NE-V163A ISP 暗光成像

為了解決剛才的一系列問題，我在這裡給大家做個展示。左圖是我們的晶片跑出來的結果，右圖是某個競品跑出來的結果。可以看到，我們的晶片在暗光下的成像質量比競品的要好很多。而這個暗光是連照度計都照不出來的暗度，是非常暗的一個環境。在這樣的環境下，我們晶片的成像質量依然很好，這就是我們成像質量的優點。在降噪方面，左圖我們的噪聲顆粒非常細膩，但是競品的噪聲就比較大，這也是我們做得相對有優勢的一個方面。

我們的晶片在ISP方面的HDR成像質量也做得很好。它要求在強光下依然能看清楚細節，且這個功能在各個場合都得到了應用。晶片在3D計算和VSLAM方面也有一些獨特優勢。它可以直接接入主動被動光雙目、結構光、ToF來結算對應的資料。

這張slide上展示的所有圖片都是我們得出的被動光雙目的深度圖：解析度大、幀率高、空洞率小、絕對誤差和相對誤差和實力誤差都比較小。此外，晶片還支援各種各樣感測器的輸入，並實時輸出深度圖資訊；可支援小解析度高幀率輸出資訊；無懼陽光干擾，可選紅外補光；可配置很近或很遠的有效檢測範圍。這個引擎比較有價值的部分在於前車距離測量以及周圍環境資訊獲取。因為一輛汽車在環境中是處於一個立體的空間，而這個立體空間中各方向的資訊對它而言都非常重要，因此，獲取3D空間環境資訊的能力其實是汽車最基本的能力之一——它必須知道自己在哪裡、周圍的物體在哪裡以及大家互動的關係是怎樣的。這些資訊是非常重要和非常基本的資訊，所以我們在晶片裡專門做了這個計算引擎來解決這些問題。

這張slide展示的是NE-V163A晶片的效能。它的效能指標是每秒鐘能夠計算多少張圖片，這是我們很有優勢的一個方面。

這張slide展示的是我們AI引擎的利用率，它相對會高一些。這張slide展示的是我們AI引擎在神經網路精度方面的一些特色，即我們支援FP16網路直接無精度損失的部署，也支援INT8的神經網路的部署（INT8的精度損失在1%以內）。右邊的這兩個表格展示的是我們晶片的一些效能指標，也比較有獨特性。

這是我們NE-V163A開發板。大家可以看到，這個開發板非常的簡潔。除了主晶片旁邊有一個記憶體顆粒外，基本沒有其它的東西了。

這張slide展示的是晶片的高整合度，也就是說一顆晶片可以搞定所有的事情。與競品相對比，競品的板子必須是多晶片才能搞定所有事情，這對客戶而言會有很多的不便。

我們晶片的介面也非常豐富，可支援多感測器的靈活接入。比如，我們支援RGB、IR、RGBIR/GS、RS多種攝像頭同時輸接入，也支援SL、ToF、IMU接入。這裡有一個應用案例：車上的RGBIR和IR感測器透過Serializer轉到cable上，cable再轉出到De-serializer，最後再連到我們的晶片上來做這樣的分析。

我們來看軟體易用性， InferStudio

™

是我們做的一套工具鏈。這套工具鏈支援一鍵部署神經網路模型，所以客戶如果用Caffe、ONNX或者TensorFlow等神經網路模型，可以直接用我們這個工具。我們的工具五分鐘就能出結果，即一鍵式部署在我們晶片上直接就能看到部署在晶片上之後的結果。InferStudio

™

工具鏈可細分為很多個模組，包括Model Visualization、Complier、Evaluator和Debugger。我們的這套神經網路部署的工具鏈受到了很多客戶的好評和喜愛，因為它能夠比較快速部署客戶的演算法。

以上就是我們在晶片方面應該如何去應對上述挑戰的一些例子，接下來我給大家簡單介紹一下我們肇觀電子。

肇觀電子是一家注重技術的公司，有三大塊核心技術：人工智慧、視覺和晶片。在視覺方面，我們從經典的computer vision方法到基於AI 的computer vision方法做了非常多的事情，也開發了很多核心的IP；在SoC方面，我們也做了很多事情。我們開發的是比較領先的端側AI SoC晶片，採用完全異構架構、兼具主控模式和加速器模式、主打低功耗且高效能。

公司總部在上海張江，擁有近三百多個員工，在中美歐日韓等國內外申請專利200多件，在德國和日本也有分部。目前為止，我們已經發布了三個系列的晶片，廣泛應用於車載、安防和機器人等領域。在影象感測器接入方面，我們適配各大廠商的各種主流感測器，而且我們在影象除錯方面也具有豐富的經驗。所以ISP是我們的一大優勢。在AI計算加速方面我們也有一定的優勢：具有業界最高之一的每TOPS實際處理幀率、每瓦特實際效能和推理精度。此外，我們也開發了領先的CVKit

™

3D和vSLAM引擎，助力所有智慧裝置擁有3D空間感知能力。

我們一直利用技術手段幫助包括殘障人士在內的每個人的生活變得更好，所以我們有單獨的團隊開發了“天使眼”這個品牌。天使眼系列助盲輔具包括智慧眼鏡、智慧閱讀器等產品，能夠幫助到視力障礙人士的生活和工作，極大地提升其生活幸福指數。讓智慧裝置具有人一樣的視覺感知和理解能力，在複雜的環境中完成複雜的工作，幫助到人們的工作和生活的方方面面，是肇觀電子始終不變的追求的目標。

謝謝大家！