在全球擁有超過10億用戶的LinkedIn，不斷挑戰當今企業技術的極限。很少有公司能夠太像LinkedIn那樣經營，或擁有類似的大量數據資源。
這個專注於商業和就業的社交媒體平台將合格的候選人與潛在雇主聯繫起來，幫助填補職位空缺是其核心業務。同樣重要的是確保平台上的貼文反映了雇主和消費者的需求。在LinkedIn的模式下，這些配對過程一直依賴科技。
到了2023年夏天，當GenAI第一次高漲時，LinkedIn開始考慮是否利用大型語言模型（LLMs）來匹配候選人與雇主，並使資訊流更加有用。
因此，這家社群媒體巨頭開啟了一段GenAI的旅程，並現在正在報告其利用Microsoft的Azure OpenAI服務的經驗結果。各行各業的CIOs都可以從LinkedIn中在過程中學到的一些經驗。
起伏跌宕
正如大多數CIO所經歷的那樣，採用新興技術伴隨著試驗和挫折。 LinkedIn的情況也不例外，據該公司的首席軟體工程師和技術負責人Juan Bottaro所說，其走向LLM協同的道路一點也不平坦。
Bottaro表示，最初的成果“感覺不夠完善”，“連接的點還不夠多。”
圍繞GenAI的首波炒作並沒有幫助。
「LLM是新事物，感覺它能解決所有問題，」Bottaro說。 「我們一開始對LLM能做什麼並沒有一個非常清晰的概念。」
#例如，早期版本的改進職位匹配工作可以說是相當的，用一個不太恰當的詞來說，粗魯。或至少過於直白。
「點擊『評估我是否適合這份工作』後得到『你完全不適合』並不實用，」Bottaro說。 「我們希望[回應]既事實準確，同時也要有同理心。有些會員可能正在考慮轉行到他們目前並不十分適合的領域，需要幫助了解差距和下一步該怎麼做。」
因此，LinkedIn初步學到的一個重要經驗是調整LLM以滿足觀眾的期望——並幫助LLM理解如何以一種或許不是人類，但至少是人性化的方式來回應。
速度問題
儘管LinkedIn擁有超過十億會員，依靠LinkedIn的LLM工作的大部分求職功能最初是針對高級會員的，這是一個相對較小的群體。 (LinkedIn拒絕透露其擁有多少高級會員。)
在如此大的規模運作時，速度是至關重要的，特別是在與相關職位匹配候選人這樣細緻的事務上。這裡，人們認為LLM會有所幫助，因為LLM的一個經常被提及的優點是其速度，使它們能夠迅速完成複雜的步驟。但Bottaro表示，LinkedIn的部署並非如此。
「我不會說LLM很快。我不認為速度是一個優勢，」他說。
速度可以有多種定義。雖然在操作上LLM可能沒有像希望的那麼快，但Bottaro表示整體部署過程的加速令人震驚。 「這項新技術的超能力在於你可以非常快速地創建原型，大約在兩到三個月之間。在這項技術出現之前，這是不可能的，」他說。
當被問及如果沒有LLM，專案的各個方面需要多久時，Bottaro表示有些可能根本無法完成，而其他元素「可能需要幾年時間。」
作為一個例子，Bottaro提到了旨在理解意圖的系統部分。沒有LLM，這可能需要兩到三個月，但LLM在「不到一周」的時間內就掌握了它。
成本考量
Bottaro稱之為「障礙」的一個面向是成本。同樣，成本在專案的不同階段意味著不同的東西，正如LinkedIn的經驗所示。
「我們用於開發的金額微不足道，」Bottaro說。但當涉及到向LinkedIn的客戶提供數據時，成本激增。
「即使只是針對幾百萬會員，」Bottaro說，這可能暗示了高級會員的數量，價格也飆升了。這是因為LLM的定價——至少是LinkedIn與Microsoft(其LLM提供者及母公司)達成的授權協議——是基於使用量的，具體來說是輸入和輸出代幣的使用量。
一位AI供應商的執行長Tarun Thummala在一篇與此專案無關的LinkedIn貼文中解釋說，LLM的輸入和輸出代幣大約相當於0.75個單字。 LLM供應商通常以成千上萬或成百萬出售代幣。例如，LinkedIn使用的Azure OpenAI在美國東部地區收費標準為每100萬個8K GPT-4輸入令牌30美元，每100萬個8K GPT-4輸出令牌60美元。
評估挑戰
LinkedIn為其專案設定的另一個功能目標是自動評估。 LLM在準確性、相關性、安全性和其他關注點方面的評估一直是個挑戰。領先的組織和LLM製造商一直在嘗試自動化一些工作，但據LinkedIn稱，這種能力「仍然在進行中」。
沒有自動化評估，LinkedIn報告指出「工程師只能靠目測結果，並在有限的樣本集上進行測試，通常會有超過1天的延遲才能知道指標。」
該公司正在建立基於模型的評估器，以幫助估計關鍵的LLM指標，如整體品質分數、幻覺率、連貫性和負責任的AI違規情況。這樣做將能夠加快實驗的速度，該公司的工程師說，儘管LinkedIn的工程師在幻覺檢測方面取得了一些成功，但他們還沒有完成該領域的工作。
數據品質
LinkedIn在其職位匹配努力中遇到的部分挑戰歸結為雙方的數據品質問題：雇主和潛在員工。
LLM只能使用提供給它的數據，有時職位發布並不精確或全面地說明雇主所尋求的技能。另一方面，有些求職者發布的履歷表述不佳，無法有效反映他們在解決問題等方面的豐富經驗。
在這方面，Bottaro看到了LLM幫助雇主和潛在員工的潛力。透過改善雇主和LinkedIn用戶的書寫，雙方都能受益，因為公司的職位匹配LLM在資料輸入品質更高時能夠更有效地工作。
用戶體驗
在處理如此龐大的會員基礎時，準確性和相關性指標可能「給人一種虛假的安慰感，」Bottaro說。例如，如果LLM「90%的時間都做得對，這意味著十分之一的人會有糟糕的體驗，」他說。
使這種部署更加困難的是，提供有用、有幫助且準確答案所涉及的極端細微差別和判斷。
「你如何定義什麼是好的，什麼是壞的?我們花了很多時間與語言學家一起制定關於如何提供全面代表性的指導。我們也做了很多用戶研究，」Bottaro說。 「你如何訓練人們寫正確的回應?你如何定義任務，規定回應應該是什麼樣的?產品可能試圖建設性或有幫助。它不試圖假設太多，因為那是幻覺開始的地方。我們對回應的一致性感到非常自豪。在擁有十億會員的情況下，一個職缺廣告在發布幾分鐘內可能會收到數百甚至數千個應徵回應。如果看到已經有數百人申請，許多求職者可能就不會再費心申請了。這就要求LLM非常迅速地找到匹配的會員，在資質較低的申請者提交資料之前做出回應。之後，會員是否看到通知並及時做出反應仍然是一個問題。
在雇主方面，挑戰在於找到最適合的應徵者－不一定是反應最快的人。一些公司不願公佈薪資範圍，這進一步複雜化了雙方的努力，因為最合格的應徵者可能對職位的薪資不感興趣。這是一個LLM無法解決的問題。
API和RAG
LinkedIn龐大的資料庫包含了關於個人、雇主、技能和課程的許多獨特信息，但其LLM尚未接受過這些數據的培訓。因此，根據LinkedIn工程師的說法，它們目前無法使用這些資產進行任何推理或產生回應的活動，因為這些資產是如何儲存和提供的。
在這裡，檢索增強生成(RAG)是一個典型的解決方案。透過建立內部API的管道，企業可以用額外的上下文「增強」LLM提示，以更好地指導和限制LLM的回應。 LinkedIn的大部分數據透過RPC API公開，該公司的工程師說這“方便人類以程式設計方式呼叫”，但“對LLM並不友善”。
為了解決這個問題，LinkedIn的工程師圍繞其API“封裝了技能”，給它們提供了一個“對LLM友好的API功能描述以及何時使用它”，以及配置細節、輸入和輸出架構以及將每個API的LLM版本對應到其底層(實際)RPC版本所需的所有邏輯。
LinkedIn的工程師在聲明中寫道：「像這樣的技能使LLM能夠執行與我們產品相關的各種操作，例如查看個人資料、搜尋文章/人員/職位/公司，甚至查詢內部分析系統。基礎設施的整合能力，使得LLM能夠更廣泛地應用於企業的各個層面。
#
