6月6日，北京通用人工智慧研究院院長朱松純教授受邀參加由中國人工智慧學會主辦的CICAI國際人工智慧會議，並帶來了《可解釋性人工智慧：如何讓機器獲得人類有依據的信任》的主題報告。

本次大會旨在搭建國際學術交流平臺，為全球致力於人工智慧技術研究的學者提供跨學科、跨領域、跨地區交流的機會，增強學術交流與產業交流的深度與廣度，激發新思想、培育新力量。

朱教授出席CICAI2021 並做《可解釋人工智慧》專題報告

當前人工智慧技術正在賦能各行各業，出現在了人們工作、生活的方方面面。但當人們與人工智慧裝置互動時，又會對人工智慧時不時表現出的“智障”產生困惑，AI為什麼總是答非所問？針對這些行業痛點，朱松純教授在專題報告中討論了當前人工智慧前沿研究的一個十分緊要的課題：智慧體（AI agent， 這裡泛指人工智慧系統）如何有效地“解釋”自己，取得人類使用者的“信任”， 從而產生高效的人機協作，進而融入一個人機共生共存的社會。

朱教授做專題報告

朱教授指出，當前比較流行的人工智慧技術採用的是“大資料，小任務”正規化，產業界更傾向於將人工智慧技術等同於“大資料+深度學習+超大算力”。基於這一正規化的人工智慧技術距離人們對AI的期待還有較大差距，例如，AI只能完成特定的、人類事先定義的任務而做不到通用；每項任務都需要大量標註的資料，沒有資料就不知所措；模型不可解釋與知識表達不能交流，無法與人做多回合互動等。“大資料+深度學習”正規化是將訓練資料輸入到神經網路中，然後得到一個預測值，這個神經網路由數量龐大的神經元組成，其演算機制無法解釋，造成人無法信任AI。

因此，我們未來要發展具有可解釋性的人工智慧，讓人工智慧技術跳出“黑箱”，成為可解釋、可解讀、可信任的人工智慧。可解釋的人工智慧（Explainable AI）大致分為兩個層次：1。 自省與可解讀性，即機器與人類達成共同語言表達；2。 自辯的能力，即機器要向人類解釋其計算的機理與過程。

當談到如何建立信任時，朱教授說，AI如果要獲得人的信任，要在兩個層次上獲得人的信任：1。能力的邊界：AI要讓人清晰地知道在什麼條件下AI能做到什麼樣的效能，可以完成哪些任務；2。感情的紐帶：AI要與人保持相近的價值觀，把人類的價值放在重要位置，要讓人知道AI和自己是命運共同體，時刻維護人的利益。透過人機之間的迭代、交流、協作增進互相理解，進而達成共識，產生“有依據的信任”（Justified Trust）。

為此，朱教授提出了人機之間建立有心智理論的可解釋性框架 （Explanation withTheory-of-Mind， X-ToM）。人機之間需要對客觀的物理世界產生相同的感知，透過交流認識到對方是如何看待同一個事物的從而形成“共識”，即你知道我是知道你知道的，X-ToM便是這種人機之間的交流模型。

朱教授透過氣泡遊戲解讀X-ToM模型和與或圖模型

AI透過人機互動的X-ToM框架，並採用可解釋的“與或圖模型”，實現模型的可解釋、可追溯、可修改，讓人工智慧技術成為透明的、可控的、可信的技術。在實際應用中，人們知道AI給出答案的依據是什麼，計算的過程是什麼，進而實現人對人工智慧有依據的信任。

未來，北京通用人工智慧研究院將深入探索視覺、語言與認知形成的學習閉環，進而實現人機之間擁有共識、形成共同的社會規範和行為價值，賦予人工智慧以三觀，讓人工智慧技術真正融入人類社會，創造通用智慧體，提升全人類福祉的願景。