決策中的生成AI：陷阱和實用解決方案-人工智慧-PHP中文網

近年來，生成的AI在內容產生和客戶支持等領域中獲得了突出的知名度。但是，將其應用於涉及決策，計劃和控制的複雜系統並不直接。本文探討瞭如何將生成AI用於自動化決策，例如計劃和優化。它還強調了這種方法提出的挑戰，包括在這些應用中有效和準確的生成AI的缺點，風險和策略。

我們還將見證通常會通過以下示例在AI工程師和決策者之間創建對話，並指出將生成AI引入生產環境時要考慮的最重要因素。

本文基於Harshad Khadilkaronmastering Kaggle競賽的最新演講 - 策略，技術和成功的見解，在TheDatahack Summit 2024年。

學習成果

了解生成AI在自動決策系統中的作用和局限性。
在計劃和控制等高風險應用程序中應用生成AI時確定挑戰。
了解有關人工智能工程師和決策者如何在實踐中互動的更多信息。
在實際情況下，了解如何管理風險並使用生成的AI適應它們。
討論在混合系統中實施AI道德和運營管理原則的前景。

自動決策的生成AI簡介
為什麼我們會通過生成的AI面對這些風險？
抹布（關係AI圖）如何解決其中一些問題
生成AI模型的優勢和劣勢
了解工程師連續的視角
實用應用中生成AI的潛在和陷阱
為高風險應用定制生成AI
安全有效生成AI集成的策略
生成人工智能決策中的道德考慮
自動化系統中生成AI的未來指示
結論
常見問題

自動決策的生成AI簡介

近年來，由於技術可以創建新的內容，設計和解決方案，因此在近年來對生成AI進行了廣泛討論。從文本分析到生成圖像開始，生成模型已經公佈了它們自動執行不同任務的能力。但是，在自動決策工具中使用此技術進行計劃，優化和控制並不容易。即使生成的AI可以通過提供新穎的方法來補充決策，但其實施必須謹慎，因為這種解決方案危害了基本子系統的準確性和一致性。

自動化決策系統通常依賴於基於定義的規則和數據輸入來優化過程的已建立算法。這些系統旨在具有高度的準確性，穩定性和控制功能。引入生成的AI，其傾向於探索新的可能性並產生並非總是可預測的輸出，這會使事情變得複雜。因此，必須考慮將這種技術集成到決策系統中。這就像將功能強大的工具引入敏感過程一樣 - 您需要確切地知道如何使用它以避免意外的後果。

生成的AI可以通過創建更靈活和自適應系統來自動化決策中的重要價值。例如，它可以幫助優化傳統系統可能不足的動態環境中的資源。但是，其應用並非沒有風險。生成模型的不可預測性有時會導致與所需結果不符的輸出，從而導致潛在的破壞。這是對生成AI的能力和局限性的深入了解，至關重要。

生成AI的關鍵風險

讓我們探索以下生成AI的關鍵風險：

決策中的生成AI：陷阱和實用解決方案

聲譽：涉及風險：與任何可以獨立創建大小的AI模型一樣，有偏見內容的風險，可能會損害生產AI的公司。
版權問題：機器學習模型，尤其是對培訓大量數據進行大量數據的生成性模型，有時會產生侵犯版權的材料。
訴訟：與生成AI相關的法律風險可能存在，在這種情況下，這種風險會導致受傷或違規通常可接受 /法律規範的情況。
不可替代性：這可能導致組織內部的嚴重問題，因為生成AI的“隨機”性質意味著您永遠無法擁有兩個相同的輸出。
次要性：在某些情況下，生成AI生成的解決方案可能不會產生最佳結果，這是因為生成AI並未完全受到現實世界中的情況或環境中的應用程序的完全約束。
人類誤導（自治）：生成的AI可能會通過提供錯誤的數據或由於控制損失而無責任的決策來欺騙人類。
失控：隨著AI系統獨立做出更多決策，人類很難區分自己的行為，從而限制了糾正措施。

為什麼我們會通過生成的AI面對這些風險？

生成的AI模型雖然強大，但由於其設計和性質而具有固有的風險。了解這些風險需要對定義生成AI模型的關鍵特徵以及如何在現實世界情景中應用。

概率推理引擎

生成的AI模型依賴於概率的推論，這意味著它們基於統計模式和可能性而不是確定性規則生成輸出。這使得AI輸出本質上不確定，這可能會導致不可預測或不正確的結果，尤其是在醫療保健或金融等高風險環境中。

在基於公共網絡的數據集上培訓

大多數生成的AI模型都是在主要從網絡中採購的大型公開數據集上培訓的。這些數據集可能包括不可靠，偏見或不完整的信息。結果，AI模型有時會產生反映數據中這些偏見，不准確或差距的輸出。

很少為特定任務設計

生成的AI模型通常是為執行一般任務而建立的，並且通常不會針對特定的應用程序或行業進行優化。缺乏自定義意味著AI可能無法為專業任務提供最準確或上下文相關的輸出，從而使其在精確決策過程中使用挑戰。

微調困難

微調生成AI模型是一個複雜且通常很困難的過程。即使進行了調整，這些模型也可能並不總是與特定要求完美匹配。微調問題可能使得難以確保AI有效地適用於給定的任務，尤其是在動態或高風險環境中。

抹布（關係AI圖）如何解決其中一些問題

破佈為生成AI所面臨的一些問題提供了解決方案，但它們並非沒有局限性：

並非所有答案都在參考數據集中可用：雖然RAGS幫助提供更多結構化數據供AI模型引用，但它們仍然依賴於預先存在的數據集。如果正確的答案或信息不在數據集中，則該模型將無法生成所需的結果。
定量任務需要邏輯，而不僅僅是參考：對於某些任務，尤其是那些需要復雜推理或計算的任務，生成的AI模型需要基於邏輯的方法，而破布目前無法完全提供。抹布非常適合提供上下文參考數據，但是它們缺乏優化或精確決策等任務所需的邏輯處理。
每個任務缺乏邏輯：儘管RAGS可以幫助組織和提供相關信息，但它們沒有提供解決某些複雜挑戰所需的特定任務邏輯。例如，在金融或醫療保健中，決策的邏輯是特定於領域的邏輯，而不是抹布很容易適應的東西。
生成AI的概率性質：儘管破布可以幫助組織知識並改善參考參數的訪問，但它們並不能解決生成AI的概率性質的基本問題。生成AI仍將依賴統計推斷，這意味著總會有一個不確定性和錯誤的元素。

分層/代理方法作為替代方案

層次或代理方法將任務分解為較小的子任務，顯示了提高生成AI模型的可預測性的希望。但是，他們仍處於實驗階段，並且有自己的挑戰：

實驗階段：這些方法仍在開發和測試中，這意味著它們尚未達到成熟水平，可以保證在高風險應用中可靠，大規模使用。
輸出仍然不是完全可重複的：雖然分層方法可能比純粹的生成模型更可預測，但在重複性方面，它們仍然面臨挑戰。在關鍵應用中，確保系統的行為是一致的，並且這些模型在這方面仍然可能不足。
子任務和子目標：這些方法可以手動指定子任務和子目標，這有助於創建更多結構化的工作流程。但是，瓶頸通常不在於定義子任務，而是處理高級AI輸出的不可預測性質。
低級模型可能不穩定：低級模型的穩定性仍然是一個令人關注的問題。即使採用結構化的代理或分層方法，如果低級模型不穩定，它們也可能導致意外或亞最佳結果。

生成AI模型的優勢和劣勢

現在，我們將討論生成AI模型的優勢和缺點。

生成AI模型的優勢	生成AI模型的弱點
龐大的培訓數據集	培訓數據限制
在大型數據集上對生成的AI模型進行了培訓，從而使它們能夠以類似於人類的方式預測下一個令牌。	這些模型主要是對文本，圖像和代碼段的培訓，而不是數學數據集等專業數據。
多模式數據集成	貝葉斯模型結構
這些模型可以將各種類型的數據（文本，圖像等）集成到單個嵌入空間中。	它們充當大型貝葉斯模型，缺乏特定於任務性能的不同原子成分。
能夠產生多樣的產出	不可糾正性
生成的AI模型可以從相同的輸入提示中提供廣泛的輸出，從而為解決方案增加了靈活性。	輸出通常不可重複，因此很難確保結果一致。
模式識別	定量任務挑戰
根據設計，生成模型可以記住訓練數據中的常見模式並做出明智的預測。	這些模型在需要定量分析的任務方面遇到了困難，因為它們不遵循此類任務的典型模式。
易用性和少量訓練	潛伏期和質量問題
生成的AI模型是用戶友好的，並且可以通過最小的微調甚至很少學習。	較大的模型面臨高潛伏期，而較小的模型通常會產生較低質量的結果。

了解工程師連續的視角

在開發和理解AI技術的工程師和推動其採用的高管的工程師之間通常存在差距。這種斷開連接可能會導致對生成AI的實際交付的誤解，有時會導致膨脹的期望。

炒作與生成AI的現實差距

在媒體炒作和引人注目的認可之後，最新趨勢通常會被高管所席捲。另一方面，工程師知道從研究到實施的技術的複雜性，往往更務實。本節探討了這種反復發生的衝突。

決策過程：從研究到產品

在這種反復出現的情況下，高管對新的AI模型的可能性感到興奮，但忽略了工程師對的技術和道德複雜性。這導致人們經常討論AI的潛力，這些潛力經常以“讓我與您聯繫。”

實用應用中生成AI的潛在和陷阱

讓我們探索以下現實生活應用中生成AI的潛力和陷阱：

生成AI的潛力

創新和創造力：生成的AI可以創建新穎的產出，使行業能夠增強創造力，簡化決策和自動化複雜的過程。
數據驅動的解決方案：它有助於生成內容，模擬場景並構建自適應模型，以快速有效地提供新的見解和解決方案。
多功能應用程序：在市場，醫療保健，設計和科學研究等領域，生成的AI正在改變解決方案的開發和應用方式。

生成AI的陷阱

偏見的風險：如果接受有缺陷或不代表數據的培訓，生成模型可能會產生偏見或不准確的產出，從而導致不公平或錯誤的決定。
不可預測性：生成的AI偶爾會產生無關緊要，誤導或不安全的輸出，尤其是在處理高風險決策時。
可行性問題：雖然生成的AI可能建議創造性解決方案，但這些解決方案可能並不總是實用或可行的，從而導致效率低下或失敗。
缺乏控制：在需要準確性的系統中，例如醫療保健或自動駕駛，如果不仔細監控，生成AI輸出的不可預測性可能會產生嚴重的後果。

為高風險應用定制生成AI

在高風險的環境中，在決策產生重大後果的情況下，應用生成AI需要使用不同的方法，而其在不太關鍵的應用程序中的一般用途則需要不同的方法。儘管生成AI表現出希望，尤其是在優化和控制等任務中，但其在高風險系統中的使用需要自定義以確保可靠性並最大程度地降低風險。

為什麼通用AI模型不足以用於高風險應用

大型語言模型（LLMS）是在許多域中使用的強大生成AI工具。但是，在醫療保健或自動駕駛等關鍵應用中，這些模型可能不精確和不可靠。在沒有適當調整的情況下將這些模型連接到此類環境是有風險的。這就像使用錘子進行心臟手術，因為它更容易。這些系統需要仔細的校準來處理這些域中微妙的高風險因素。

將AI納入關鍵決策系統的複雜性

由於決策的複雜性，風險和多個因素，生成的AI面臨挑戰。儘管這些模型可以根據所提供的數據提供合理的輸出，但它們可能並不總是是在高風險環境中組織決策過程的最佳選擇。在這樣的領域，即使是一個錯誤也會產生重大後果。例如，自動駕駛汽車的小錯誤可能導致事故，而其他領域的不正確建議可能會導致重大財務損失。

必須自定義生成AI，以提供更準確，受控和上下文敏感的輸出。針對每種用例的微調模型（無論是在醫療保健中調整醫療指南還是遵循自動駕駛中的交通安全法規）至關重要。

確保人類控制和道德監督

在高風險應用中，尤其是那些涉及人類生活的人，需要保留人類的控制和監督以及良心。雖然生成的AI可能會提供建議或想法，但必須批准並驗證它們是人類檢查的。這使每個人都保持腳趾，並在認為需要這樣做的時候給專家提供了混亂的機會。

對於所有AI模型，無論是醫療保健還是其他法律框架，都應該開發的AI模型也必須融合道德和公平性，這也是如此。這涵蓋了算法在培訓中使用的數據集中的偏見，堅持決策程序的公平性，並符合設定安全協議。

關鍵系統中的安全措施和錯誤處理

為高風險系統定制生成AI時，關鍵考慮是安全。 AI生成的決策必須足夠強大，以處理各種邊緣案例和意外的輸入。確保安全性的一種方法是實施冗餘系統，在該系統中，其他模型或人類干預對AI的決定進行了交叉檢查。

例如，在自主駕駛中，AI系統必須能夠從傳感器處理實時數據，並基於高度動態的環境做出決策。但是，如果該模型遇到不可預見的情況（例如，障礙或不尋常的交通方式），它必須依靠預定義的安全協議，或者允許人類替代以防止事故。

針對特定域的數據和模型自定義

高風險系統需要自定義數據，以確保AI模型對特定應用程序進行了良好的培訓。例如，在醫療保健中，培訓具有一般人群數據的生成AI模型可能還不夠。它需要考慮特定的健康狀況，人口統計和區域差異。

同樣，在財務等行業中，預測精度至關重要，具有最新和特定於上下文的市場數據的培訓模型至關重要。自定義可確保AI不僅基於常識，而且是根據該領域的細節量身定制的，從而產生了更可靠和準確的預測。

這是基於成績單的“安全有效生成AI集成策略”的更緊密的版本，以人為生成的方式編寫：

安全有效生成AI集成的策略

將生成的AI納入自動決策系統中，尤其是在計劃，優化和控制等領域，需要仔細思考和戰略實施。目的不僅是利用技術，而且要以確保其破壞或破壞基礎系統的方式這樣做。

該成績單分享了在高風險設置中集成生成AI的幾個重要注意事項。以下是討論將AI安全整合到決策過程中的關鍵策略：

生成AI在決策中的作用

生成的AI非常強大，但重要的是要認識到其主要用途並不是魔術修復工具。正如筆錄所建議的那樣，它不適合每個問題的“錘子”。生成的AI可以增強系統，但這不是每個任務的正確工具。在優化和計劃等高風險應用程序中，它應該補充系統，而不是大修。

風險管理和安全問題

當將生成AI集成到安全關鍵應用中時，存在誤導用戶或產生次優的輸出的風險。決策者必須接受AI偶爾會產生不必要的結果。為了最大程度地降低這種風險，應使用冗餘設計AI系統。集成的HIL循環機制允許當AI的建議不希望時系統反應。

現實期望和持續評估

Generative AI受到了高度讚揚，這對於工程師和決策者來說，要管理人們的期望非常重要。正確的管理確保對技術的能力和局限性的現實了解。成績單打交道一個非常重要的一點，即生成AI打破新聞頭條時，老闆或決策者的典型反應。這種興奮通常與在AI上下文中技術系統的實際準備情況更複雜。因此，鑑於正在揭示了新的研究和方法，應不時評估和修訂AI系統。

道德考慮和問責制

整合的其他社會問題是禮節問題。生成的AI系統應具有清晰的所有權和問責制結構。這些結構有助於確保做出決策的透明度。筆錄還提高了人們對潛在風險的認識。如果AI無法正確控制，則可能導致偏見或不公平的結果。管理這些風險對於確保AI在公平和道德上運作至關重要。集成應包括驗證步驟，以確保生成的建議與道德問題保持一致。此過程有助於防止諸如偏見之類的問題，並確保系統支持積極的結果。

在受控環境中進行測試

在在高風險情況下實施生成AI模型之前，建議在模擬環境中測試它們。這有助於更好地理解意外事件的潛在後果。成績單強調，這一步驟對於防止系統的下降至關重要，這可能是昂貴甚至致命的。

工程師與領導力之間的溝通

技術團隊與領導力之間的清晰溝通對於安全整合至關重要。通常，決策者不完全了解生成AI的技術細微差別。另一方面，工程師可以假設領導能夠掌握AI系統的複雜性。筆錄分享了一個幽默的故事，工程師在老闆聽說很久之前就知道一項技術。這種斷開連接會產生不切實際的期望並導致不良的決定。建立工程師和高管之間的相互了解對於管理所涉及的風險至關重要。

迭代部署和監視

將生成AI引入實時環境的過程應該是迭代的。應該根據反饋和性能數據對系統進行連續監控和完善系統。鑰匙是確保系統按預期執行。如果它遇到失敗或意外輸出，則可以在影響關鍵決策之前迅速糾正。

生成人工智能決策中的道德考慮

現在，我們將在生成AI決策中討論道德考慮。

解決AI對利益相關者信任的影響：隨著生成AI成為決策過程的一部分。利益相關者可能會質疑該模型的可靠性和公平性。圍繞決策的方式建立透明度對於維持信任至關重要。
AI建議中的透明度和問責制：當生成AI系統產生意外結果時，明確的問責制是必不可少的。本節涵蓋了使AI驅動建議可以理解和可追溯的方法。
AI驅動的自動化的道德界限：負責任地實施Genai涉及設定邊界，以確保技術在道德上使用。特別是在高風險應用中。這項討論強調了遵守AI道德準則的重要性。

自動化系統中生成AI的未來指示

讓我們詳細討論自動化系統中生成AI的未來方向。

在決策中支持AI的新興技術： AI正在迅速發展，新技術推動其能力向前發展。這些進步使AI能夠更好地處理複雜的決策任務。在這裡，我們探索了可以使生成AI在受控系統中更有用的新興工具。
AI中的研究前沿進行控制和優化：對AI進行控制和優化的研究正在發現新的可能性。一種這樣的方法涉及將生成AI與傳統算法相結合以創建混合決策模型。
生成AI在自動化中的作用的預測：隨著AI技術的成熟，生成的AI可能成為自動化系統中的主食。本節提供了有關其未來應用程序的見解，包括不斷發展的功能和對企業的好處。

結論

將生成的AI整合到自動決策系統中具有巨大的潛力，但需要仔細的計劃，風險管理和持續評估。如所討論的那樣，AI應被視為增強現有系統而不是單一適合所有解決方案的工具。通過設定現實期望，解決道德問題並確保透明責任制，我們可以安全地利用高風險應用程序的生成AI。在受控環境中進行測試將有助於保持可靠性。工程師與領導力之間的清晰溝通以及迭代部署至關重要。這種方法將創建有效且安全的系統，從而允許AI驅動的決定補充人類專業知識。