作者 | 丁效
整理 | 維克多
在過去十年的人工智慧浪潮中，以深度學習為代表的人工智慧技術已基本實現了視覺、聽覺等感知智慧，但依然無法很好地做到思考、推理等認知智慧。
4月9日，哈爾濱工業大學計算學部副研究員丁效，在AI TIME青年科學家——AI 2000學者專場論壇上，做了《基於神經符號的認知推理方法》的報告，分享了神經網路方法執行符號推理任務的最新進展，同時也給出了將符號知識注入神經網路的思路以及如何將神經網路與符號系統相融合。
以下是演講原文，AI科技評論做了不改變原意的整理。
今天和大家分享神經符號認知推理方面的研究工作。人工智慧（AI）已經歷了第一代符號智慧，第二代感知智慧以及當前的認知智慧。認知智慧是一種融合的狀態，強調錶示學習與複雜知識推理的有機結合是人工智慧進步的階梯。
實際上，在自然語言處理（NLP）領域，預訓練模型規模以每年約10倍的速度增長， 模型的通用智慧水平顯著增強。如上圖，無論是計算的複雜度、引數以及訓練時間，隨著時間的推移，都有跨越性的發展，也促使模型效能大幅度提升。
同時，預訓練語言模型還有很大的發展空間。例如詢問GPT-3：烤箱和鉛筆哪個更重？腳有幾隻眼睛？等問題，它的回答的結果差強人意。根本原因是缺少對知識的推理的能力，以及對推理結果的可解釋性。
如何解決？我認為需要開發新的計算正規化，即將基於感知的深度學習和基於認知的符號計算，進行融合。
傳統基於符號的表示，例如在NLP領域，對於句子的處理是分詞，文字中有1萬個詞就對應1萬維。
現在分散式的表示方法是基於神經網路，需要學習出每個詞的向量，此向量維度不高，也不會那麼稀疏，它是低維稠密的實數值向量，很容易捕獲文字的語義資訊。
利用符號系統和利用上下文表示的系統有什麼區別？首先對於詞彙的理解，一定離不開上下文的語義的理解。例如：小明離開星巴克和喬布斯離開蘋果公司，同樣是離開一詞，前者可能表示消費完了，離開某個商店，後者可能表示辭職。因此，兩種語義是截然不同的。
傳統的NLP任務從語料中提取特徵，利用統計關係學習建模語義結構，屬於符號系統處理方法。給定若干個任務，例如共旨消解、語義角色標註、依存分析或者NER等等任務，傳統方法是手工提取一些特徵，然後把特徵輸入到一些統計模型當中，然後得出分類結果、預測結果。
傳統的 NLP的處理方式，提取特徵可以認為是符號系統，即手工提取的特徵本身就可以用來解釋最後的預測結果，這是典型的可解釋的方式。
基於神經網路的分散式的語義表示，在處理各種NLP任務時，“省略”了特徵提取步驟，有幾個特點：1。 單詞用稠密的低維向量表示；2。上下文語義表示是單詞語義表示的組合；3。表示向量與組合方式需要在大量的資料上進行訓練；4。能夠得到詞的任務特異表示。
雖然運用神經網路能夠得到遠超以前的效能，但也有“需要大量訓練資料”、“可解釋性差”、“推理基於表面特徵”等缺點。
神經方法和符號方法各有哪些優缺點？符號AI對於規則、知識，能夠可程式化，可以用程式設計的方式直接把規則編寫到程式當中，然後可以進行精確、嚴格的匹配、推理，得到的結果也是符合規則的，因此解釋性強。缺點是構造成本太高，覆蓋率低，穩定性也不太夠。
神經方法的優點是表示能力非常強，任務的適應性很強，無論生成任務，還是分類任務，亦或迴歸任務都能“拿下”。缺點是學習最簡單的模式，距離人的智慧還有很大的距離，以及一直被詬病的黑盒、不可解釋性等等。
顯然，如果有方法將神經與符號相融合就能優勢互補。目前，有三種方法可供參考：
1。神經網路方法執行符號推理任務，神經網路在此過程當中可能幫助我們把詞進行泛化。
2。 符號知識注入神經網路。進行損失函式設計，或者進行一些正則化的約束，或者進行資料增廣等操作。
3。 神經網路與符號系統相融合。即不以符號為主，也不以神經為主，而是進行有機融合。
在NLP處理領域，如果想獲得以“類人”方式學習和思考的機器，需要在語義合成、推理、常識學習，學會學習等四個方面努力。NLP中的推理是指文字推理能夠推動另外三個任務不斷的進步。
文字推理是指給定文字形式的前提（Premise）與前提相關的某一假設（Hypothesis），建模文字語義與文字結構，以判斷前提與假設之間的關係。具體的例子如下圖所示：
文字推理有三個典型的任務，文字蘊含、因果推理以及故事結尾預測。結合認知的文字推理，其實來源於認知科學當中的雙過程的理論。
雙過程理論是指人的思考和學習是有兩個系統：直覺系統和邏輯系統。直覺系統幫助我們進行一些直覺的無思決策，快速回答問題；邏輯系統要呼叫大腦當中儲存的知識進行邏輯的推理。
下面介紹實現剛才提到的三種不同認知推理任務的方法。
1
神經網路方法執行符號推理任務
符號推理的任務有很多，自動定理證明、多項選擇問答、邏輯規則歸納。由於時間有限，主要介紹多項選擇問答任務。
在去年的EMNLP 2021一篇論文中，我們採用自然邏輯，幫助完成多項式選擇的問答任務。
自然邏輯是一種語義單調性的邏輯系統，它主要是定義了7種單詞之間的語義關係，包括等價、前向蘊含、反向蘊含、前向蘊含、反義、並列、覆蓋、獨立等等。然後我們要在遵循自然邏輯的前提下，在文字上進行推理，例如把句子進行增刪改操作，然後保持語義的不變性，進行替換。
例如：
給定句子：
所有的動物需要水
自然邏輯：
動物 ⊒ （反向蘊含） 狗
替換操作後：
所有的動物需要水 ⊑ 所有的狗需要水
推理中的換詞對NLP中的多項選擇問答任務非常有必要。例如上圖中的任務形式：給定問題：齧齒動物吃植物？知識庫當中有一條知識是：松鼠吃松子。
第一步需要進行單詞的替換，將齧齒動物替換成倉鼠，然後把植物替換成果實，或者把植物可以替換成莊稼。
接下來不斷替換，把植物替換成穀物，把果實替換成堅果，把齧齒動物替換成田鼠，經過一步一步的的替換，最終替換到了知識庫當中的某一條知識。因此，基於自然邏輯進行多項選擇問答這條路徑就是可解釋的。其實，不僅是可以替換，也可以增加詞、刪除詞、修改詞。
問題在於是基於語義詞典進行詞的替換，而語義詞典是非常有限的。再者沒有考慮上下文的語義關係。
引入神經網路的方法，可以將詞的替換直接進行神經化。具體過程可以分為4步：
1。 利用預訓練語言模型生成候選單詞
2。 判斷原單詞和候選單詞之間的語義關係
3。 根據上下文的單調性將詞級別的語義關係對映到句子級別
4。 保留滿足恆等和反向蘊含關係的候選句
2
符號知識注入神經網路
符號知識注入神經網路的方式有很多，可以利用邏輯規則約束神經網路的模型；可以利用基於邏輯規則進行資料增強的任務。
例如資料增強，給定三元組 B的首都是A（A，首都，B），可以擴展出A位於B。具體一些，知識庫總已經有： （北京，首都，中國），則基於該規則可以補充額外的三元組（北京，位於，中國）。
如何利用邏輯規則，約束神經模型？上圖是事件時間常識知識預測任務，其中預測為對應的時間單元：給定事件起床，推測頻率、持續時間以及典型發生時間。
這些事件的常識知識有什麼用？可以把事件的常識知識注入到預訓練語言模型當中，讓模型對事件時間的常識知識能夠掌握，會讓模型在進行時間相關的推理的工作中更加高效。
存在的問題在於，從文字中無監督抽取的時間常識可能存在報告偏差（Reporting Bias）。例如常見的情況的在文字中並未顯式提及：自然文字中幾乎不會有“睡醒之後，我一般要花幾分鐘的時間起床”等類似的表達！ 在文字表達中會對非尋常現象加以強調：我每天都得花一個小時才能起床！。
如何解決？利用不同維度間的時間常識知識之間的約束關係，減緩報告誤差。對於“我是在媽媽準備早餐期間起床的”，利用事件間時序關係可以得出：起床的持續時間短於準備早餐 ；“自己在家準備早餐，十分鐘就可以搞定” 可以得出：準備早餐的持續時間大概約為10分鐘。
下表詳細總結了類似於上述所有的可能的互補關係：
此規則怎樣利用？我們設計了基於軟邏輯規則的時間的常識預測。給定輸入：我是在媽媽
準備早餐
期間
起床
的，得到原子式：
，然後將原子式概括成機率軟邏輯規則，如下圖。
將機率軟邏輯規則放到神經網路模型當中，將其製作成損失函式。這一步是在交叉熵損失函式的基礎上，添加了機率軟邏輯的約束損失，使得模型在做的時間推理的過程當中，既考慮機率軟邏輯的規則，同時考慮對於語義理解之後的的推理結果。
3
融合神經與符號的推理系統
融合神經和符號的推理系統，在進行數值運算，因果邏輯推理，一階謂詞邏輯規則等方面具有優勢。它可以利用神經網路模組，顯式建模符號規則。
傳統的因果推理模型多數以黑盒方式，直接從標註的因果事件對中學習因果知識。因此可能利用部分與標籤存在相關關係的統計特徵做出判斷，致推理結果的不穩定，不可靠，不可解釋。
如何還原背後的因果決策機制？我們提出引入中間證據事件，還原背後的因果邏輯鏈條。這種因果邏輯鏈條提供了更強的可解釋性。在ACL 2021上，我們的工作ExCAR： 事理圖譜知識增強的因果推理框架，能夠從預先構建的事理圖譜中獲取中間證據事件。
具體而言是使用條件馬爾可夫神經邏輯網路（CMNLN），其中邏輯網路具有較強的可解釋性與可靠性。神經邏輯網路是指利用神經網路表示規則，並賦予每個因果規則以權重（因果強度），以應對規則集合中可能存在的噪音與統計關係的複雜性。條件馬爾可夫還能支援因果疊加效應，即對於同一規則，不同的前件可能對因果強度帶來不同的影響。基本邏輯是：證據事件→邏輯規則→因果邏輯圖。
4
機器學習：人與機器之間的資訊互動
下面從人機互動的角度，思考機器學習。當前的機器學習過程：極度依賴靜態的標註資料集。例如標籤蘊含的資訊有限，這導致學習效率低下、對於複雜任務，標註尤為昂貴、資料過時導致模型無法使用。
機器向人的學習遠遠不只是說去學標註的資料，可以學習的種類非常多樣，例如點選使用者的行為資料，以及使用者的解釋資訊。實際上使用者的解釋的資訊對於機器學習而言是非常重要的。
如上圖的例子，小明根據ab/b=a，推匯出SinX/n=six。老師則認為這是不對的，因為Sin是整體，是三角函式。
因此，基於上述觀察，我們在ACL 2022會議論文中提出，不僅進行因果推理的任務，還需要給出相應的解釋。不只是針對某因果對解釋，可以是概念性的解釋。
例如將鐵塊加入鹽酸中，導致鐵塊被溶解。需要生成概念性的解釋酸具有腐蝕性，顯然這不只是因果對的解釋。
當前的因果推理系統仍缺乏此類常識。例如，現有的因果推理資料集只提供因果對及其標籤，缺少對因果關係原理層面的解釋。而人類能夠同時運用具體的因果知識，以及對於因果機制的深入理解以高效、可靠地推理出因果關係。因此，未來認知推理，它一定需要和腦科學進行結合。
反彈行情下的專屬投資禮包！投資VIP權益、188元現金紅包，100%中獎>>
開啟App看更多精彩內容