DNN和機器學習

如果自動駕駛系統無法理解感測器套件捕獲的資料將毫無用處。識別與實時場景理解同感測和檢測功能一樣至關重要。AI和機器學習技術的進步在使用攝像頭影象感測器進行物體檢測和分類方面取得了驚人的成績。DNN和CNN技術的進步為自動駕駛系統帶來了更高的感知和分類精度。

執行DNN和CNN演算法的汽車視覺系統可以精確地檢測和分類車輛（汽車、公共車、卡車和兩輪車）、交通標誌、道路標記、行人、騎腳踏車的人和其他易受傷害的道路使用者。基於AI的內部監控系統還可以讀取駕駛員和乘客的面部表情。

但是，DNN的有效性高度取決於開發人員使用的訓練資料集。OEM、供應商、移動服務供應商和AV公司越來越多地在其自動駕駛系統中採用基於AI和ML的視覺系統。

下一代晶片架構

自動駕駛系統由多種感測技術支援，相互補充，以實現有效和可靠的感知。隨著OEM和自動駕駛公司朝著更高的自動駕駛水平發展，這些感測器（尤其是攝像頭和雷達）的數量正在不斷增加。半自動駕駛車輛已經配備了8–10個攝像頭、多個雷達和超聲波雷達，在某些情況下甚至包括鐳射雷達。

具有基於AI和ML技術的智慧視覺處理功能的汽車視覺系統是高度計算密集型應用。ADAS視覺系統必須處理高解析度成像、高速序列通訊、下游處理和識別功能，才能有效地瞭解車輛的環境。影象解析度必須足夠高，以使識別處理器可以準確地解碼道路標誌並區分物體和周圍環境。為此，需要解析度為1-2MP、幀速率為60fps，高色彩靈敏度和HDR的彩色攝像頭。來自不同曝光度的多個攝像頭的影象或攝像頭和雷達資料流融合在一起，為自動駕駛系統提供更好的感知。

所有這些功能都需要計算效能，這在傳統的半導體架構下是無法實現的。需要具有執行DNN和CNN演算法能力的高效能多核晶片架構。該架構應可擴充套件以服務於多個自動駕駛級別。汽車半導體供應商正在提供多核多執行緒架構，其中包括用於執行AI和視覺處理演算法的專用核心、針對感測器融合進行了最佳化的集成核處理器，以及用於處理全自動駕駛汽車計算要求的整合影象訊號處理器（影象加速器）。新的晶片架構也需要高級別的ASIL（ASIL B及以上）認證。

英偉達、Mobileye、瑞薩和高通是一些提供可擴充套件和可程式設計計算平臺的晶片供應商，這些平臺具有專用CNN和DNN功能。產品範圍從滿足簡單計算要求的單核架構到具有整合影象加速器和GPU的多核架構，均適用於完全自動駕駛的計算平臺。