「刷題」可以說是貫穿人生的始終了，有些題目可以獨自解決，例如考試題；但諸如面試類需要互動的題目時，一個人就很難刷動了。
這種互動不同於一般的問答，通常需要「陪練方」在特定情境下對問題進行回答，並引導使用者思考，以達到最終目標。
例如面試官不會只負責提問，還需要引導你說出對問題的理解思路，以及可選的解決方案。這類問題也可能是開放式的，例如自我介紹等。
AI的終極目標，就是一切人可以做的事，都可以由模型取代，這類「面試陪審員」也不例外。
但在當下的自然語言處理領域，這種能力還沒有得到足夠的重視，並且在技術上很具有挑戰性。
最近Google在官方部落格上介紹了一個重要的自然語言理解（NLU）能力，即自然語言評估（Natural Language Assessment, NLA），並討論瞭如何能夠在教育的背景下有所幫助。
典型的 NLU 任務專注於使用者的意圖，而 NLA 允許從多個角度評估答案。
在使用者想知道他們的答案有多好的情況下，NLA 可以提供一個關於答案與預期有多接近的分析。
在可能沒有「正確」答案的情況下，NLA 可以提供細微的洞察力，包括主題性、相關性、冗長問題等等。
研究人員制定了 NLA 的範圍，提出了一個實用的模型來執行主題性NLA，並展示瞭如何使用 NLA 來幫助求職者練習回答面試問題。
NLA 的目標是根據一組期望值（expectations）來評估使用者給出的答案。
比如說有一個與學生互動的NLA系統，有以下幾個組成部分：
使用 NLA，對答案的期望和對答案的評估都可以非常寬泛，這使得師生之間的互動更具表現力且更有細節。
有具體正確答案的問題
即使在有明確的正確答案的情況下，也可以比簡單的正確或不正確更細微地評估答案。
對問答系統來說，上面這個回答可能因為缺少關鍵細節「魔法」而被標記為不正確，因為使用者會認為這個答案並非完全正確，也沒有太大意義。
NLA可以提供更細節的理解力，例如認定學生的回答太過於籠統，而學生本人對此回答不夠確信。
這種細微的評估，以及注意到學生所表達的不確定性，對於幫助學生在會話環境中建立技能非常重要。
主題預期
在許多情況下，提問者並不期望得到具體答案。
例如，如果一個學生被問到一個觀點類問題，並沒有具體的文本期望，提問者更關注的是回答相關性以及觀點，或許答案的簡潔度和流暢性也在提問者的評估範圍內。
在這種情況下，一個有用的評估輸出將把使用者的答案映射到所涉及的主題的子集，可能還有文本的哪些部分與哪個主題相關的標記。
從自然語言處理的角度來看，這很有挑戰性，因為答案可能很長，主題也可能是混合的，而且每個主題本身可能是多方面的。
原則上，主題性NLA（Topicallity NLA）是一個標準的多分類任務，開發者可以根據常用的模型很容易地訓練出一個分類器。
但對於NLA來說，可用的訓練資料很少，收集每個問題和主題的訓練資料成本很高，而且很耗時。
Google的解決方案是將每個主題分解成可以使用大型語言模型(LLM)進行識別的細粒度元件，並進行簡單的通用調優。
研究人員將每個主題映射到一個潛在問題列表，並定義如果句子包含對這些潛在問題之一的答案，那麼它就涵蓋了該主題。
對於經歷（Experience）這個主題，模型可以選擇一些潛在的問題，例如:
再例如興趣（Interests）這個主題下，也有一些基本問題，如
這些基本問題是透過迭代的手工過程設計的。
重要的是，由於這些問題是足夠細粒度的，目前的語言模型可以捕捉這些句子內的語義（例如What和Where的區別），也使得開發者可以為NLA的主題任務提供一個zero-shot設定: 模型訓練一次後，即可不斷添加新的問題和新的主題，或透過修改基本內容期望改編現有的主題，而不需要收集主題特定的資料。
為了探索NLA的應用場景，Google的開發者也與求職者合作開發了一個新工具Interview Warmup，幫助用戶在IT Support和用戶體驗設計等快速成長的就業領域為面試做準備。
網站上提供了大量的問題，求職者自己在家就能練習回答行業專家提出的問題，以幫助在真人面試中變得更加自信和從容。
Google也是受求職者的啟發，在了解面試過程中的困難後提出了NLA研究。
Interview Warmup不會對答案進行評分或判斷，它只為使用者提供一個獨自練習的環境，並且幫助使用者進行自我改進。
每當使用者回答一個面試問題後，該答案會被NLA模型逐句解析，然後使用者可以在不同的談話要點之間切換，看看在他們的答案中發現了哪些要點。
研究人員意識到，在向使用者發出訊號表示他們的回饋是「好」時，存在著許多潛在的陷阱，尤其是當模型只偵測到有限的主題集時。
相反，系統把控制權掌握在使用者手中，只使用機器學習來幫助使用者發現如何改進。
到目前為止，該工具已經幫助了大量來自世界各地的求職者，取得了很大的成果，並且開發團隊最近已經將其擴展到非洲，並計劃繼續與求職者合作，迭代並使該工具對數百萬正在尋找新工作的人更有幫助。
自然語言評估(NLA)是一個具有技術挑戰性和有趣的研究領域。
NLA為新的會話應用程式鋪平了道路，透過從多個角度對答案進行細緻入微的評估和分析，促進了學習。
透過與社群合作，從求職者和企業到課堂教師和學生，可以確定NLA有潛力幫助使用者學習、參與和發展各種學科的技能的情況，以負責任的方式建立應用程序，使用戶能夠評估自己的能力，並找到改進的方法。
參考資料：https://ai.googleblog.com/2022/10/natural-language-assessment-new.html
以上是Google探索全新NLU任務「自然語言評估」，正式面試前讓AI幫你熱身！的詳細內容。更多資訊請關注PHP中文網其他相關文章！
