LLM性能最高60%提升！ GoogleICLR 2024力作：讓大語言模型學會「圖的語言」

在電腦科學領域，圖形結構由節點（代表實體）和邊（表示實體之間的關係）所構成。

圖無所不在。

互聯網可以被視為一個龐大的網絡，搜尋引擎利用圖形化的方式來組織和展示資訊。

LLMs主要在常規文本上訓練，因此將圖轉化為LLMs可理解的文本是一項具有挑戰性的任務，因為圖結構與文本有著根本的不同。

在ICLR 2024上，一支來自Google的團隊探索如何將圖形資料轉換為適合LLMs理解的形式。

論文網址：https://openreview.net/pdf?id=IuXR1CCrSi

使用兩種不同的方法將圖形編碼為文本，並將文本和問題反饋給LLM的過程

他們也開發了一個名為GraphQA的基準，用於探究解決不同圖推理問題的方法，並展示瞭如何以一種有利於LLM解決圖形相關問題的方式來表達這些問題。

使用正確的方法，使得LLMs在圖形任務上最高得以提升60%的效能。

GraphOA：一場對LLMs的「考試」

首先，Google團隊設計了GraphQA基準測試，它可以被視為一門考試，旨在評估LLM針對特定於圖形問題的能力。

GraphOA透過使用多種類型的圖表，確保廣度和連接數量的多樣性，以尋找LLMs在處理圖形時可能存在的偏差情況，並使整個過程更接近LLMs在實際應用中可能遇到的情況。

使用GraphIQA對LLMs進行推理的框架

雖然任務很簡單，例如檢查邊是否存在、計算節點或邊的數量等等，但這些任務都需要LLMs理解節點和邊之間的關係，對於更複雜的圖形推理至關重要。

同時，團隊也探索如何將圖轉換為LLMs可以處理的文本，例如解決如下兩個關鍵問題：

節點編碼：我們如何表示單一節點？節點可以包括簡單整數、常用名稱（人名、字元）和字母。

邊緣編碼：我們如何描述節點之間的關係？方法可以包括括號符號、短語（如“是朋友”）和符號表示（如箭頭）。

最終，研究者透過系統地結合各種節點和邊的編碼方式，產生了像下圖中所展示的那些函數。

圖形編碼函數的範例

#LLMs表現怎麼樣呢？

研究團隊在GraphOA上進行了三個關鍵實驗：

1. #測試LLMs處理圖形任務的能力
2. 測試LLMs的大小對效能的影響
3. 測試不同圖形形狀對效能的影響

在第在一個實驗中，LLMs表現平平，在大多數基本任務上，LLMs的表現並不比隨機猜測好多少。

但編碼方式顯著影響結果，如下圖所示，在大多數情況下，「incident」編碼在大多數任務中表現出色。選擇合適的編碼函數可以極大的提高任務的準確度。

#

基於不同任務準確度的各種圖編碼器函數的比較

在第二個測試中，研究人員在不同大小的模型上測試了相同的圖形任務。

就結論而言，在圖形推理任務中，規模更大的模型表現更好，

然而有趣的是，在「邊存在性」任務（決定圖中兩個節點是否相連）中，規模並不像其他任務那麼重要。

即使是最大的LLM在循環檢查問題上（確定圖中是否存在循環）也無法始終擊敗簡單的基線解決方案。這顯示LLMs在某些圖任務上仍有改進的空間。

模型容量對PaLM 2-XXS、XS、S和L的圖推理任務的影響

在第三個測試中，對於圖形結構是否會影響LMMs解決問題的能力，研究人員透過GraphOA產生不同結構的圖形進行分析。

GraphQA不同圖形產生器產生的圖形範例。 ER、BA、SBM和SFN分別是Erdős-Rényi、Barabási-Albert、隨機區塊模型和無標度網路。

結果得出，圖的結構對LLMs的效能有很大影響。

例如，在一個詢問循環是否存在的任務中，LLMs在緊密相連的圖形中表現出色（這裡循環很常見），但在路徑圖中表現不佳（循環從不發生）。

但同時提供一些混合樣本有助於LLMs適應，例如在循環檢測任務中，研究人員在提示中添加了一些包含循環和一些不包含循環的示例作為少樣本學習的例子，透過這種方式提高了LLMs的表現。

在不同的圖任務上比較不同的圖產生器。主要觀察結果是，圖結構對LLM的表現有顯著影響。 ER、BA、SBM和SFN分別指的是Erdős-Rényi、Barabási-Albert、隨機區塊模型和無標度網路。

這只是讓LLMs理解圖的開始

在論文中，Google團隊初步探索如何將圖形最佳地表示為文本，以便LLMs能理解他們。

在正確編碼技術的幫助下，顯著提高了LLMs在圖形問題上的準確性（從大約5%到超過60%的改進）。

同時也確定了三個主要的影響因子，分別為圖形轉換為文本的編碼方式、不同圖形的任務類型、以及圖形的疏密結構。

這只是讓LLMs理解圖的開始。在新基準測試GraphQA的幫助下，期待進一步研究，探索LLMs的更多可能性。

以上是LLM性能最高60%提升！ GoogleICLR 2024力作：讓大語言模型學會「圖的語言」的詳細內容。更多資訊請關注PHP中文網其他相關文章！