編譯丨伊風
出品| 51CTO技術堆疊（微訊號：blog51cto）
生成性人工智慧（generative AI）的需求正不斷增長，而對LLM安全和可靠性的擔憂也變得比以往任何時候都更加突出。企業希望能確保為內部和外部使用而開發的大規模語言模型（LLM）能夠提供高品質的輸出，而不會偏離到未知領域。
為了滿足這一需求，有幾個關鍵方面需要考慮。首先，應該加強對LLM模型的可解釋性，使其能夠透明地展示其生成結果的來源和邏輯推理過程。這將有助於用戶理解輸出的質量，並評估其可信度。
其次，需要提供更多的工具和技術來驗證和偵測LLM輸出的準確性和正確性。這些工具可以幫助使用者在使用
微軟認識到這些擔憂，長期以來，微軟使用OpenAI的模型只能呼叫API，對黑盒子裡的秘密缺少掌控的方法。微軟近期宣布推出了新的Azure AI工具，用以幫助解決大模型的幻覺問題，同時能夠夠解決安全漏洞問題，如提示輸入攻擊，即模型被攻擊生成侵害隱私或其他有害內容——就像微軟自己的AI圖像創作器生成的泰勒·斯威夫特深度偽造圖像一樣。
據悉，安全工具將在未來幾個月內廣泛推出，目前尚未公開具體的時間表。
1.Azure AI在大模型的安全性做些什麼？
隨著LLM的普及，提示注入攻擊問題變得格外突出。本質上，攻擊者可以以一種方式改變模型的輸入提示（prompt），以繞過模型的正常操作，包括安全控制，並操縱它以顯示個人或有害內容，從而危及安全或隱私。這些攻擊可以透過兩種方式進行：直接攻擊，即攻擊者直接與LLM互動；或間接攻擊，這涉及使用第三方資料來源，例如惡意網頁。
為了解決這兩種形式的提示注入，微軟正在將提示盾（Prompt Shields）加入Azure AI。這是一個綜合能力，使用先進的機器學習（ML）演算法和自然語言處理自動分析提示和第三方資料的惡意意圖，並阻止它們到達模型。
它將整合到微軟的三個相關產品中：Azure OpenAI服務（編者註：Azure OpenAI 是微軟推出的一款基於雲端的服務產品，它提供了對OpenAI強大語言模型的存取能力。Azure OpenAI 的核心優勢在於它結合了OpenAI的先進技術和微軟Azure的安全性和企業級承諾）、Azure AI內容安全和Azure AI工作室。
除了努力阻止威脅安全和安全的提示注入攻擊外，微軟還引入了專注於生成型AI應用程式可靠性的工具。這包括預先建立的安全中心系統訊息範本和一個新的功能，稱為「基礎性偵測」（Groundedness Detection）。
如微軟所解釋的，安全中心系統訊息範本允許開發人員建立引導模型行為朝向安全、負責和資料基礎輸出的系統訊息。而基礎性檢測使用一個經過微調的客製化語言模型來檢測模型產生的文字輸出中的幻覺或不準確材料。兩者都將在Azure AI工作室和Azure OpenAI產品中提供服務。
值得注意的是，檢測基礎性的指標也將伴隨著自動化評估，以壓力測試生成型AI應用程式的風險和安全性。這些指標將衡量應用程式被越獄並產生任何不適當內容的可能性。評估還將包括自然語言解釋，以指導開發人員如何建立適當的緩解措施來解決問題。
「今天，許多組織缺乏壓力測試其生成型AI應用程式的資源，以便他們可以自信地從原型轉向市場應用。首先，建立一個反映新出現風險範圍的高品質測試資料集可能是具有挑戰性的，例如越獄攻擊。即使有高品質的數據，評估也可能是一個複雜且手動的過程，開發團隊可能會發現很難解釋結果以通知有效的緩解措施， 」微軟安全AI首席產品長Sarah Bird在部落格文章中指出。
2.Azure AI將即時「監控」大模型
Azure AI在實際使用過程中，微軟將提供即時監控，幫助開發人員密切關注觸發安全功能（如提示盾）的輸入和輸出。這項功能被整合在Azure OpenAI服務和AI工作室產品中，將產生詳細的可視化圖表，突出顯示被阻止的用戶輸入/模型輸出的數量和比例，以及按嚴重性/類別的細分。
利用這種可視化的即時監測，開發人員能夠了解有害請求趨勢隨時間的變化，並調整其內容過濾器配置、控制以及更廣泛的應用程式設計，以增強安全性。
#
Microsoft уже давно работает над улучшением своих продуктов искусственного интеллекта. Ранее генеральный директор Microsoft Сатья Наделла подчеркнул в интервью, что Microsoft не полностью зависит от OpenAI, но также разрабатывает собственные проекты в области ИИ и помогает OpenAI создавать свои продукты: «Меня очень беспокоит наша текущая ситуация. Я очень доволен Я также думаю, что это поможет нам контролировать судьбу наших компаний».
изменил шаблон «Все в OpenAI», и Microsoft также использовала Mistral в целом модель внутри. В последнее время недавно созданная команда Microsoft AI часто предпринимает шаги и даже наняла Мустафу Сулеймана и его команду из Inflection AI. Кажется, это способ уменьшить зависимость от Сэма Альтмана и OpenAI.
Теперь добавление этих новых инструментов безопасности и надежности основано на работе, уже проделанной компанией, предоставляя разработчикам лучший и более безопасный способ создания своих приложений генеративного ИИ на основе представленные модели.
Ссылка на ссылку: https://venturebeat.com/ai/microsoft-launches-new-azure-ai-tools-to-cut-out-llm -риски-безопасности и надежности/
