怎樣評估一篇學術論文發表後是否有“影響力”？

目前，業內普遍採用基於引文的指標，比如所著論文的引用量、H-index（H 指數，一個混合量化指標，用於評估研究人員的學術產出數量與水平），以及期刊影響因子在時間和領域內的歸一化測度等。

科學事業的有效發展取決於一系列有前途的科研人員、以及研究專案能否分配到優勢資源。因此，傳統的評判論文是否有影響力的指標，不僅是對學術質量的評定，但在某種程度上，也存在滯後的影響。因為，這些傳統評估指標可能導致一些研究在後續的學術招聘、晉升和資助方面被輕視，進而產生偏見，影響助力專案的資金。

（來源：Nature）

考慮到當前科學發展的現狀問題和有限資源，如果能提前預判一篇論文的“影響力”大小，就可以幫助行業超越簡單的基於引用的度量標準，從而更好地將科研注意力、投資等引導到更正確的地方。

為了實現對論文“影響力”的準確分析評估，來自麻省理工學院的科學家 James Weis 和 Joseph Jacobson 建立了一個名為 DELPHI（透過學習預測高影響實現動態預警）的機器學習模型，並用知識圖譜加以訓練，從而可以更早、更準地鎖定那些未來有影響力的科研成果，相關論文於5月17日發表在《自然-生物技術》（Nature Biotechnology）期刊上。

（來源：Nature Biotechnolog）

在一次回顧性盲法研究中，DELPHI 準確識別出了1980-2014年期間20項具有重大影響的生物技術中的19項，還以資料驅動的方式發現並促進經費流向那些“深藏不露”的好研究專案。DELPHI 未來或將用於更準確地評估科研人員的產出質量和水平，有望成為一種全新的學術影響力評估手段。

AI 模型：發現“隱藏的寶石”

具體而言，DELPHI 的開發者們使用的資料集包含1980-2019年期間發表的1687850篇具有唯一性的論文，包括780多萬個單獨節點、2。01億個關係和38億個計算指標，從中得到了論文發表後1-5年與每例論文、作者、期刊、網路相關的29個特徵，作者再用每篇論文的特徵訓練一個機器學習模型，讓這個模型給出影響力“預警”訊號。

研究人員透過使用盲法模型進行回顧性分析，並透過對2017年和更早時期的論文進行新模型培訓，證明了 DELPHI 已具備識別有影響力的生物技術的能力。

基於29個特徵的學習影響研究，研究人員在以生物技術為中心的資料庫中，使用所有應用程式的度量和學習表示對模型進行訓練，訓練時間窗從釋出年份到釋出後5年，將發表後5年時間排名前5%的論文稱為“高影響”，這5%的論文約能佔到資料集中總影響的35%以上。

圖｜從動態知識圖譜中收集、構建、計算和學習（來源：Nature BiotechNoLogy ）

經測試，DELPHI 在出版之年就能精確識別出一篇論文未來大概有多高的影響力，大大優於僅使用引用資料或最近文獻中使用的指標訓練的類似模型。

圖｜知識圖譜的結構動態包含未來科學影響力的資訊（來源：Nature BiotechNoLogy）

有趣的是，大量正確識別的“高影響力”科研文獻在初期的引用率並不高，因此，它們就像“隱藏的寶石”，使用簡單的基於引用的指標很難發現它們。

例如，一篇刊登在《基因與發育》（ Genes & Development）期刊上的關於早期胚胎的重要論文：“G9a histone methyltransferase plays a dominant role in euchromatic histone H3 lysine 9 methylation and is essential for early embryogenesis”，DELPHI 正確預測了其具有高影響力潛質，但這篇論文在發表後2年內仍只有少量的累計引用次數，因此，如果僅根據索引數量來評估，它的影響力根本不會被選入前5%之列。

一般來說，使用發表後2年的資料，設定80%的預測精確度目標對應的引用閾值為18。但研究人員發現，大約60%的高影響力論文（“隱藏寶石”）會低於這一閾值，以同樣的精度目標（80%），DELPHI 可正確識別出兩倍以上的高影響力論文，包括那60%被引用閾值遺漏的部分。

圖｜DELPHI 利用時間動力學早期識別具有最先進效能特徵的“高影響”研究，專注於生物技術出版物（來源：Nature BiotechNoLogy）

值得關注的是，DELPHI的“預警”訊號強度會隨時間序列資料量的增加而增強。例如，DELPHI 正確預測了哪項研究將具有很高的影響力，在不到1年的資料中，均衡精度為77%，而在不到2年的資料中，均衡精度則增長到87%。

研究人員還使用 DELPHI 來預測了最近發表的未來可能具有重要意義的論文。利用一個對2018年以後的論文不知情的再培訓模型，在2019年釋出的資料庫中計算了這些論文的評估分數，實驗結果突出了 DELPHI 可在多個領域自主評估“高影響”論文的潛力。

圖｜DELPHI 正確識別了盲法反向測試中的歷史生物技術突破（來源：Nature BiotechNoLogy）

科研經費如何分配效果最好？

據論文描述，DELPHI 是一種在大型、異構、時間結構的網路資料上使用機器學習的方法，可以用來預測高影響科學研究的定量預警分數。由於這種圖形本機結構，DELPHI 也很容易擴充套件到新的資料型別。

研究人員還注意到，從資料集中匯出的29個特徵不一定都與科學影響正相關，也不對基於聲譽的訊號完全依賴，因為 DELPHI 模型只學習使用那些真正包含未來影響資訊的指標。

“我們能在影響預測方面大大優於以前的引用和手工系統。儘管這篇論文代表了一個初步的解釋，但這樣一個系統提供了很多有趣的可能性。”研究人員在論文中寫道。

對於高度連線的網路，如網際網路的物理網路結構或社交網路（例如 Facebook），邊數（節點之間的連線）與節點數（裝置或使用者）的平方成比例。由於構建這樣的網路的成本隨著節點數的增加而增加，而價值隨著邊緣數的增加也會增加，因此這樣的網路可以非常快速地擴充套件，而且非常有價值。

研究人員表示，假設科學事業也是如此，隨著節點（研究專案）之間的連線數量增加，科學研究集合所創造的價值在資助專案數量上會從線性過渡到幾何。

因此，他們建議可以透過高效分配研究資源，從而使科研圖譜中的“邊數量”最大化，儘管這種有益的分配迄今為止很難實施，但現在可以開始考慮使用 DELPHI 模型來幫助專案設計籌資策略。

另一個有趣的可能性是推動研究專案的數量多樣化。比如可以考慮透過使用 DELPHI 模型來構建一個多元化的投資組合，最大限度地提高風險調整後的科學影響，也就是說，一組總體上具有最佳風險回報特徵的研究計劃。

圖｜在一個科學不斷髮展、資源有限的世界裡，可以使用 DELPHI 定量方法來幫助指導研究經費的分配，以實現科學投資回報的最大化（來源：Nature BiotechNoLogy）

舉個例子，如果我們要選擇資助資料集中前5%的論文，基於發表後2年的引用數量，我們將資助約59%的高影響力研究，但誤報率超過41%，而使用 DELPHI，我們可以鑑定並資助超過81%的高影響力研究，誤報率僅為20%。

研究人員認為，DELPHI 方法對於提高總體生產率有很大的希望，不僅包括確定最有影響的專案，而且還包括更全面地探索科學研究的尾端，在這些尾端，革命創新可能會不成比例地發生。

科學文獻機器輔助分析走向應用

對於 DELPHI，研究人員強調，儘管論文所描述的結果令人興奮，但這僅僅是走出了科學文獻機器輔助分析的實踐第一步。DELPHI 應該被理解為更廣泛的科學分析工具包的一部分，與人類經驗和直覺結合使用，以增強而不是取代人類水平的理解。此外，與所有基於機器學習的系統一樣，必須注意確保這種方法潛在的系統偏差，保證其不會被惡意行為者操縱，以獲取與自身相關的利益。

DELPHI 目前研究的領域聚焦在生物技術期刊上發表的論文，預測論文在發表後5年內產生的科學影響，但還有一些長期的科學趨勢可能不會被這個時間視窗捕捉到，例如，單克隆抗體是在20世紀70年代中期發現的，但直到20世紀90年代初，它才加速成為一個重要領域。DELPHI 的時間序列分析和網路級別度量的組合可能包含捕獲和幫助理解這些趨勢所必需的表達能力。

在未來的研究中，還可以探索改進 DELPHI 框架的技術途徑。由於目前這項研究是確定最有希望的5%的生物技術研究，採用了基於分類的方法，但 DELPHI 框架也可以與基於迴歸的方法一起使用，這些方法可以透過提取額外的訊號或更好地識別異常值來提高效能。

隨著科學語料庫的不斷增長，以及非傳統文獻（如學術預印本）的日益重要，DELPHI 基於其固有的異構設計，還能夠以直接的方式合併額外的資料來源，例如整合預印本和商業化資料（專利和初創企業等），提供全方位的影響力洞察。

研究人員在論文結尾總結，人工智慧輔助方法（比如此次研究提到的 DELPHI）的謹慎開發和部署可以釋放大量現有的和尚未開發的資源。透過 AI 計算，有規模地消化科學事業中包含的大量隱藏資訊，有助於整個科研生態以更公平和富有成效的方式分配有限的資源，從而提高部署到科學技術中的資源回報。