記者

湯一濤

5月3日，facebook的母公司Meta在它的部落格上免費公開了一套LLMs（大型語言模型）——OPT-175B。該公司稱這項努力是透明度的實踐，是其開放科學承諾的一部分。

LLMs 是基於自然語言處理（NLP）和超過1000億個不同引數的人工智慧訓練模型。過去幾年，LLMs被廣泛運用在了演算法開發、生成創造性的文字、數學問題的解決和文字理解上。

衡量LLMs能力的一個重要標準就是引數數量。OPT-175B模型有超過1750億個引數，和當前世界引數量最大的GPT-3相當。但相比GPT-3，OPT-175B的優勢在於它是完全免費的，這使得更多缺乏相關經費的科學家們可以使用這個模型。

同時，

Meta

還公佈了程式碼庫、開發過程日誌、資料、研究論文和其他與OPT-175B相關的資訊，希望有更多的社群參與到這個專案中。Meta AI的常務董事喬爾·派諾（Joelle Pineau）告訴美國科技媒體Protocol：“當然，在訓練LLMs方面，其它人已經走在了我們前面，並且在某些情況下提供了API。但這些模型的程式碼和訓練模型還沒有公佈給更廣泛的研究團體。”

OPT-175B結合了預訓練模型和培訓程式碼，目前從1。25億到330億引數的版本都可以免費下載到本地適應，而1750億引數的版本必須手動申請。

這些模型在一系列開源資料集上接受了訓練，包括數千本未出版的書籍和多年來在網上搜集的資料，以完成一系列標準語言模型任務，包括自然語言生成和對話、檢測偏見和仇恨言論。

但Meta沒有使用任何Facebook或者Instagram的使用者資料來訓練OPT-175B。“因為我們的目標是能夠公開發布模型和相關文件給 AI研究機構。這是我們對可訪問、可複製和透明科學的承諾的一部分。”派諾說

通常LLMs的執行需要消耗大量算力，這也是LLMs經常為人所批評的地方。但Meta在OPT-175B的論文中表示，其模型開發的碳排放量為75噸，大約是GPT-3（500噸）的1/7。在具體的算力需求上，OPT-175B只需要16個nvidia V100 GPU就可以執行。

儘管OPT-175B是免費的，但Meta確實給出了一些限制。為了防止誤用和“保持完整性”，OPT-175B只允許在非商業用途下使用。也就是說，OPT-175B的多數應用場景還是在科研上。

反彈行情下的專屬投資禮包！投資VIP權益、188元現金紅包，100%中獎>>

開啟App看更多精彩內容