隨著自然語言處理（NLP）模型變得越來越強大，並在更現實的環境中進行部署，理解它們的行為變得越來越重要。儘管建模方面的進步為許多NLP任務帶來了空前的效能，但仍然存在許多研究問題，這些問題不僅涉及這些模型在領域轉移和對抗環境下的行為，還涉及它們根據社會偏見或淺層啟發法表現的趨勢。

對於任何新模型，人們可能想知道模型在哪種情況下效果不佳，模型為何做出特定的預測，或者模型在變化的輸入（例如文字樣式或代詞性別）變化下是否會表現一致。但是，儘管最近在模型理解和評估方面的工作激增，但沒有用於分析的“靈丹妙藥”。從業人員必須經常嘗試多種技術，研究本地解釋，彙總指標和輸入的反事實變化，以更好地理解模型行為，而這些技術中的每一種通常都需要使用自己的軟體包或定製工具。Google先前釋出的假設工具旨在透過對分類和迴歸模型進行黑盒探測來應對這一挑戰，從而使研究人員可以更輕鬆地除錯效能，並透過互動和視覺化分析機器學習模型的公平性。但是仍然需要一種工具來解決NLP模型特有的挑戰。

考慮到這些挑戰，Google構建並開放了語言可解釋性工具（LIT），這是一個用於理解NLP模型的互動式平臺。LIT以從假設分析工具中獲得的經驗教訓為基礎，具有極大的擴充套件功能，涵蓋了一系列NLP任務，包括序列生成，跨度標記，分類和迴歸，以及可自定義和可擴充套件的視覺化和模型分析。

LIT支援區域性說明，包括顯著性圖，注意力和模型預測的豐富視覺化，以及包括度量，嵌入空間和靈活切片的聚合分析。它使使用者可以輕鬆地在視覺化效果之間進行切換，以測試區域性假設並透過資料集對其進行驗證。LIT為反事實生成提供支援，可以在其中即時新增新的資料點，並立即視覺化它們對模型的影響。並排比較允許同時顯示兩個模型或兩個單獨的資料點。有關LIT的更多詳細資訊，請參見Google在EMNLP 2020上發表的系統演示檔案。

可定製性為了更好地滿足希望使用LIT的具有不同興趣和優先順序的廣泛使用者的需求，Google從一開始就構建了易於定製和擴充套件的工具。在特定的NLP模型和資料集上使用LIT僅需要編寫少量Python程式碼。可以使用Python編寫自定義元件，例如特定於任務的指標計算或反事實生成器，並透過Google提供的API將其新增到LIT例項中。此外，可以使用直接整合到UI中的新模組來定製前端本身。有關擴充套件該工具的更多資訊，可以檢視GitHub上的文件。

演示為了說明LIT的一些功能，Google使用預先訓練的模型建立了一些演示。完整列表可在LIT網站上找到，Google在這裡描述其中兩個：

· 情感分析：在此示例中，使用者可以探索基於BERT的二進位制分類器，該分類器可預測句子是正面還是負面的情緒。該演示使用電影評論中的Stanford Sentiment Treebank句子來演示模型行為。可以使用多種技術（例如LIME和積分梯度）提供的顯著性圖來檢查區域性解釋，還可以使用反向翻譯等技術來利用受干擾的（反事實）示例來測試模型行為。，單詞替換或對抗性攻擊。這些技術可以幫助查明模型在什麼情況下會失敗，以及這些失敗是否可以泛化，然後可以用來告知如何最好地改進模型。

掩蓋的單詞預測：掩蓋的語言建模是一項“填空”任務，其中模型預測可以完成一個句子的不同單詞。例如，在提示“我帶著___散步”的提示下，模型可能會預測“狗”的得分較高。在LIT中，可以透過鍵入句子或從預載入的語料庫中進行選擇，然後單擊特定的標記以檢視像BERT這樣的模型對語言或世界的理解，從而以互動方式進行探索。

LIT在實踐和將來的工作中儘管LIT是一種新工具，但Google已經看到了它可以為模型理解提供的價值。它的視覺化可用於查詢模型行為中的模式，例如嵌入空間中的外圍聚類，或對預測而言具有重要意義的單詞。對LIT的探索可以檢驗模型中的潛在偏見，正如Google在對LIT探索共同參照模型中的性別偏見的案例研究中所證明的。這種型別的分析可以為提高模型效能提供後續步驟，例如應用MinDiff減輕系統偏差。它也可以用作為任何NLP模型建立互動式演示的便捷方法。